학습분포의 외부패턴 탐지를 위한 클래스 내 교차 주의집중 트랜스포머

Abstract

OOD(out-of-distribution) 탐지 문제 중 가까운(near) OOD 탐지는 OOD데이터가 학습시에 본 데이터인 ID(in-distribution)와 의미상으로 유사하여 탐지하기 어려운 문제이다. 우리는 예상치 못한 OOD 데이터셋으로 인해 이상치 노출(outlier exposure)을 사용할 수 없는 일반적인 경우에 가까운 OOD 탐지 성능을 개선하는 것을 목표로 하였다. 이 목표를 달성하기 위해 기존의 비전 트랜스포머(ViT; vision transformer)를 기반으로 추가적인 기능을 설계하였다. 가장 중요한 설계는 클래스 대표특징과 이미지 특징 간의 교차 주의집중(cross-attention)을 사용한 것이다. 비전 트랜스포머에 의해 수행되는 이미지의 전체 자가 주의집중(self-attention) 에 추가적으로 클래스-이미지 상관 관계를 인코딩하였다. 따라서 우리가 제안하는 방법은 비전 트랜스포머(ViT; vision transformer)의 특징에 클래스-이미지 상관관계에 의한 인코딩 벡터를 완전 연결계층(FC layer; fully connected layer)에 입력으로 인가하여 신뢰점수가 최종 출력되도록 설계하였다. 이 신뢰점수가 특정 문턱치(threshold)를 넘지 못하면 OOD로 탐지한다. 이 방법은 OOD 데이터에 대한 정보를 사용치 않고 ID만으로 학습을 하게되어, 이상치 노출없이 OOD 탐지를 할 수 있다. 제안한 방법이 일반적인 경우에 추가적인 OOD 성능을 향상시킨다는 것을 실험을 통하여 보였다. 그 결과 Cifar10(ID)-Cifar100(OOD)의 경우 기존 방법의 성능을 능가하는 AUROC 98.87%, AUPR 98.94%를 달성하였고 Cifar100(ID)-Cifar10(OOD)의 경우 AUROC 97.51%, AUPR 98.16%를 달성하였다.

Among the out-of-distribution(OOD) detection problems, near OOD detection is a task that detects an OOD dataset which is semantically similar to the in-distribution(ID) and is a more difficult task than other OOD detections. We aim to improve near OOD performance in general case that can not use outlier exposure because of unexpected OOD dataset. We perform near OOD detection task by using the cross-attention between class representative and image to encode the class-image correlation in addition to the overall self-attention feature in the image. We demonstrate that our method improves additional OOD performance. As a result, we achieve general case SOTA AUROC 98.87% , AUPR 98.94% in the case of Cifar10(ID)-Cifar100(OOD). In the case of Cifar100(ID)-Cifar10(OOD), we achieve AUROC 97.51% , AUPR 98.16%.