Robustness of Neural Networks under Distributional Shifts

Abstract

In this thesis, uncertainty estimation is performed under distributional shifts. The goal of uncertainty estimation is to create reliable deep learning models which can yield a confidence value with its prediction. Although several studies have been con- ducted to quantify uncertainty in the deep learning models, recent studies have demon- strated that the quality of uncertainty estimated using some traditional methods de- grades in dataset shift situations. In this paper, we propose Contrastive Normalizing Flow, a robust uncertainty estimation model under distributional shifts. The proposed model estimates uncertainty in a latent space; An encoder trained with contrastive learning maps images into the latent space. Then, a generative classifier models a pre- dictive distribution with normalizing flows. In addition to this, distributionally robust optimization is applied to the proposed model to improve a performance of out-of- distribution detection. Two types of shifts are considered in experiments: covariate shift and out-of-distribution. For these types of shifts, the experiments empirically demonstrate that the proposed model improves the robustness of the classifier under distributional shifts.

불확실성 측정의 목표는 좀 더 신뢰할만한 딥러닝 모델을 설계하기 위함이다. 신뢰도가 높은 모델은 예측을 할 때 예측값의 불확실성을 같이 출력해서 불확실 성을 바탕으로 해당 예측값을 믿을지 말지 결정한다. 딥러닝 모델에서 불확실성을 측정하기 위해 여러 연구들이 시행되었지만, 최근 연구들은 데이터 분포가 바뀐 상 황에서 전통적인 방법들이 측정한 불확실성의 신뢰도가 부족하다는 것을 실험적 으로 보였다. 본 논문에서는 데이터 분포가 변한 상황에서 신뢰도가 높은 불확실 성을 측정하는 Contrastive Normalizing Flow 모델을 제시한다. 제시한 모델은 잠 재 공간에서 불확실성을 측정한다. Contrastive learning으로 학습된 인코더는 이미 지를 잠재 공간으로 대응시키고, 생성 분류 모델은 예측 분포를 normalizing flow 를 사용해서 모델링한다. 그리고 out-of-distribution을 검출하기 위해 distributionally robust optimization 방법을 모델에 적용한다. 실험에서는 두 가지 분포가 변하는 상 황(covariate shift, out-of-distribution)을 고려하고, 해당 상황에서 제시한 모델의 견 고함을 실험적으로 증명한다.