Deep Neural Network Latent Space Analysis using Decision Boundary and Attention Style CapsuleNet

Abstract

While the deep learning model produces overwhelming performance in many domains, it is not known what latent space the deep learning model embedding, what features it learns, and how it separates features. An accurate understanding of the learning process of deep learning is not perfect until now and is still an open problem.

In this thesis, we try to broaden our understanding of the latent space of the deep neural network in two ways. In the first chapter, we experimentally investigate the relationships with the vision boundary in the latent space of the deep neural network through several toy experiments. The decision boundary is obtained by using and adversarial attack methods in the latent space where deep neural network embeds. We analyze the relationship between the decision boundary and the latent space manual obtained by perturbing the image.

In the second chapter, the characteristics of the latent space is examined by constraining a network architecture design. We propose a new network module called an attention-style capsulenet with improved version of capsulenet. The value of each capsule is perturbed to determine which image feature is trained by the deep neural network.

딥러닝 모델이 많은 도메인에서 압도적인 성능을 내는데 반해 딥러닝 모델이 어떤 잠재 공간을 만드는지, 어떤 특징를 학습 하는지 정확히 알려지지 않고 있다. 딥러닝의 학습 과정에 대한 정확한 이해는 현재까지 완벽하지 않고 열린 문제이다.

이번 연구에서는 크게 2가지 방법으로 딥러닝이 학습한 잠재공간에 대해 이해를 넓히고자 하였다. 첫번째 챕터에서는 딥러닝 모델의 잠재공간에서 결정 경계를 이용하여 잠재공간의 특성을 여러 실험들을 통해 분석하였다. 적대적 공격 방법을 이용해서 결정경계 벡터를 구하고 인풋에 노이즈를 추가하여 잠재공간의 다양체 벡터를 구하였다. 결정경계 벡터와 잠재공간의 다양체 벡터 사이의 관계를 통해 잠재공간의 다양체의 구성을 분석하였다.

두번째 챕터에서는 캡슐이라는 특수한 설계로서 잠재공간을 제한하여 학습된 잠재공간의 특징을 살펴보았다. 네트워크 구조는 캡슐넷을 개선한 어텐션 스타일의 캡슐넷을 제안하고, 각 캡슐들을 값을 변동시켜 딥러닝 모델이 실제 이미지공간의 어떤 특징을 분석하여 캡슐 잠재공간으로 매핑하는지 확인하고 인풋 데이터에서의 변형에 대한 캡슐값의 변동을 분석하였다.