Publications
Detailed Information
Robustness of Neural Networks under Distributional Shifts : 분포 변화 상황에서 뉴럴 네트워크의 강건성
Cited 0 time in
Web of Science
Cited 0 time in Scopus
- Authors
- Advisor
- 강명주
- Issue Date
- 2021
- Publisher
- 서울대학교 대학원
- Keywords
- Out of distribution ; robustness ; uncertainty ; 강건성 ; 불확실성 ; 상관 없는 데이터
- Description
- 학위논문(석사) -- 서울대학교대학원 : 자연과학대학 협동과정 계산과학전공, 2021.8. 강명주.
- Abstract
- In this thesis, uncertainty estimation is performed under distributional shifts. The goal of uncertainty estimation is to create reliable deep learning models which can yield a confidence value with its prediction. Although several studies have been con- ducted to quantify uncertainty in the deep learning models, recent studies have demon- strated that the quality of uncertainty estimated using some traditional methods de- grades in dataset shift situations. In this paper, we propose Contrastive Normalizing Flow, a robust uncertainty estimation model under distributional shifts. The proposed model estimates uncertainty in a latent space; An encoder trained with contrastive learning maps images into the latent space. Then, a generative classifier models a pre- dictive distribution with normalizing flows. In addition to this, distributionally robust optimization is applied to the proposed model to improve a performance of out-of- distribution detection. Two types of shifts are considered in experiments: covariate shift and out-of-distribution. For these types of shifts, the experiments empirically demonstrate that the proposed model improves the robustness of the classifier under distributional shifts.
불확실성 측정의 목표는 좀 더 신뢰할만한 딥러닝 모델을 설계하기 위함이다. 신뢰도가 높은 모델은 예측을 할 때 예측값의 불확실성을 같이 출력해서 불확실 성을 바탕으로 해당 예측값을 믿을지 말지 결정한다. 딥러닝 모델에서 불확실성을 측정하기 위해 여러 연구들이 시행되었지만, 최근 연구들은 데이터 분포가 바뀐 상 황에서 전통적인 방법들이 측정한 불확실성의 신뢰도가 부족하다는 것을 실험적 으로 보였다. 본 논문에서는 데이터 분포가 변한 상황에서 신뢰도가 높은 불확실 성을 측정하는 Contrastive Normalizing Flow 모델을 제시한다. 제시한 모델은 잠 재 공간에서 불확실성을 측정한다. Contrastive learning으로 학습된 인코더는 이미 지를 잠재 공간으로 대응시키고, 생성 분류 모델은 예측 분포를 normalizing flow 를 사용해서 모델링한다. 그리고 out-of-distribution을 검출하기 위해 distributionally robust optimization 방법을 모델에 적용한다. 실험에서는 두 가지 분포가 변하는 상 황(covariate shift, out-of-distribution)을 고려하고, 해당 상황에서 제시한 모델의 견 고함을 실험적으로 증명한다.
- Language
- eng
- Files in This Item:
Item View & Download Count
Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.