Adversarial Auto Encoder for Novelty Detection in Multi-modal Normality Case via Disentangled Latent Space

Abstract

Novelty detection is one of the essential elements to reduce the uncertainty of the deep learning model. Novelty detection using deep generative models such as autoencoder, generative adversarial networks mostly takes image reconstruction error as a novelty score function. However, image data, high dimensional as it is, contains a lot of different features other than class information which makes models hard to detect novelty data. The problem gets harder in the multi-modal normality case. In particular, novelty detection using class information becomes more difficult in unlabeled datasets as in real words. To address this challenge, we propose a new way of measuring novelty scores in multi-modal normality cases using orthogonalized latent space. Specifically, we employ orthogonal low-rank embedding in the latent space to disentangle the latent space features using mutual class information. With the orthogonalized latent space, the novelty score is defined by the angle change of each latent vector.

Also, we propose a self-labeling adversarial auto-encoder to maximize the mutual information between image and latent vector even in unlabeled situations by using unsupervised classification networks. The proposed algorithm was compared to state-of-the-art novelty detection algorithms using a Generative model such as RaPP and OCGAN. Experimental results show that ours outperforms those algorithms.

이상 탐지는 딥 러닝 모델의 불확실성을 줄이는 데 필수적인 요소 중 하나다. 오토인코더, 생산적 적대 신경망과 같은 심층 생성 모델을 사용한 대부분의 이상 탐지 방법은 이미지 재구성 오류를 이상 점수로 사용한다. 그러나 이미지와 같은 고차원 데이터에는 클래스 정보 외에 많은 다른 특징들이 있어 이미지 재구성 오류로 이상 데이터를 탐지하기 어렵다. 멀티-모달 정규성 사례에서 이상 탐지 문제는 더욱 어려워진다. 특히, 클래스 정보를 사용하는 이상 탐지는 레이블이 없는 현실의 문제들에서 한계가 있다. 이러한 한계를 해결하기 위해 우리는 직교화된 잠재공간을 사용하여 멀티-모달 정규성 사례에서 이상 점수를 측정하는 새로운 방법을 제안한다. 구체적으로, 우리는 상호 클래스 정보를 사용하여 잠재 공간 특징을 분리하기 위해 잠재 공간에 직교화된 낮은 계수 임베딩 방법을 사용한다. 직교화된 잠재 공간에서 이상 점수는 각 잠재 벡터의 각도 변화로 정의된다. 또한 비지도 분류 네트워크를 사용하여 레이블이 없는 상황에서도 이미지와 잠재 벡터 간의 상호 정보를 극대화할 수 있는 자체 레이블링 적대적 오토인코더를 제안한다. 제안된 알고리즘은 최근 가장 좋은 결과를 보여주고 있는 RaPP 및 OCGAN과 비교한다. 실험 결과는 우리가 제안한 방법이 다른 방법들에 비해 좋은 결과를 보여준다는 것을 확인시켜준다.