Energy-Based Deep Ensembles for Reliable Out-of-distribution Detection

Abstract

Models used for prediction tasks like classification and regression should ideally possess two properties: (i) any model should be able to determine whether an in- put x is in-distribution (an inlier, i.e., drawn from the data distribution p(x)), or out-of-distribution (an outlier, or OOD), and (ii) once outliers have been filtered out, the model should offer a quantifiable measure of predictive uncertainty. Deep Ensemble (DE) methods that employ multiple probabilistic prediction models, together with their recent variants, are widely used precisely because of these two properties. Yet for OOD detection tasks, the performance of existing ensemble methods leaves much to be desired; we claim that this is because the models do not learn p(x). We propose in this thesis Energy-Based Deep Ensemble (EBDE) methods, in which the prediction model p(y

x) and input data distribution p(x) are learned simultaneously. Specifically, p(x) is formulated as an energy-based model, with the ensemble disagreement (i.e., the collective variance of the predictions made by each model) used as the energy function. Experiments involving a wide range of datasets confirm that EBDE significantly outperforms existing DEs for OOD detection tasks, while achieving comparable performance in prediction and uncertainty quantification.

분류 및 회귀와 같은 예측 작업에 사용되는 모델은 이상적으로 두 가지 속성을 가 져야 한다. 우선, 입력 x가 분포 내(즉, 데이터 분포 p(x)에서 도출된)인지 분포 외 (이상치 또는 OOD 데이터)인지 결정할 수 있어야 한다. 이상치가 필터링된 후에는, 모델은 예측의 불확실성의 정량적인 측도를 제공해야 한다. 최근에, 확률적 예측을 하는 딥 뉴럴넷 모델을 여러개 사용하는 딥 앙상블(DE) 방법과 DE의 몇가지 변형된 방법들은 이러한 두 가지 기능을 갖추어 널리 사용되어져 오고 있다. 그러나 OOD 감 지 작업의 경우 기존 앙상블 방법의 성능은 아쉬운 점이 있는데, 이는 모델이 p(x)를 학습하지 않기 때문이라고 주장한다. 본 학위논문에서는 예측 모델 p(y

x)와 입력 데 이터 분포 p(x)를 동시에 학습하는 에너지 기반 딥 앙상블(EBDE) 방법을 제안한다. 구체적으로, p(x)는 앙상블 불일치(즉, 각 모델에 의한 예측들의 분산)를 에너지 함 수로 사용하여 에너지 기반 모델로 모델링 되어진다. 여러 종류의 데이터셋을 이용한 실험에서 제안한 EBDE가 예측 및 불확실성 정량화에서 기존의 방법들과 유사한 성 능을 달성하는 동시에, OOD 탐지 작업에 대한 기존 방법보다 더 나은 성능을 보임을 확인하였다.