Memory-Based Learning of Latent Structures for Generative Adversarial Networks

Abstract

본 연구는 Generative Adversarial Network (GAN) 모델의 학습 과정에서 발생하는 두가지 문제점을 해결하는 방안을 제시하였다. 먼저, 일반적인 GAN 모델은 사진과 같은 복잡한 확률변수의 분포를 모델링할 때 잠재변수의 사전확률분포로 표준정규분포를 사용한다. 그러나 이런 연속적인 잠재변수를 사용할 경우 서로 다른 데이터 샘플간의 구조적 불연속성을 반영하기 어렵다. 또 다른 문제점으로, GAN 모델에서 판별자는 학습 과정에서 과거에 생성자 모델이 생성했던 데이터 샘플에 대한 정보를 망각하며, 이로인해 학습 과정이 불안정해진다. 이 두가지 문제점은 생성자가 판별자가 공유하는 memory network를 동시에 학습함으로써 크게 완화할 수 있다. 생성자가 학습 데이터에 내재된 군집의 분포를 학습한다면 이를 통해 구조적 불연속성으로 인한 성능 하락을 피할 수 있으며, 판별자가 주어진 입력 데이터에 대한 판별을 할 때 학습 전 과정에 걸쳐 생성자가 생성했던 데이터 샘플들로부터 학습된 군집 분포를 참조한다면 망각 문제로 인한 영향을 덜 받게 된다. 본 연구에서 제시한 memoryGAN 모델은 비지도학습을 통해 데이터에 내재된 군집의 분포를 학습하여 구조적 불연속성 문제와 망각 문제를 완화하며, 대부분의 GAN 모델에 적용할 수 있다. Fashion-MNIST, CelebA, CIFAR10, 그리고 Chairs 데이터셋에 대한 성능 평가 및 시각화 실험을 통해 memoryGAN이 확률론적으로 해석 가능한 모델이며, 높은 수준의 사진 샘플을 생성한다는 것을 보였다. 특히 memoryGAN은 개선된 최적화 방법이나 Weaker divergence를 도입하지 않고도 CIFAR10 데이터셋에서 Inception Score를 기준으로 비지도학습 방식의 GAN 모델 중 높은 성능을 달성했다.

We propose an approach to address two issues that commonly occur during training of unsupervised GANs. First, since GANs use only a continuous latent distribution to embed multiple classes or clusters of data, they often do not correctly handle the structural discontinuity between disparate classes in a latent space. Second, discriminators of GANs easily forget about past generated samples by generators, incurring instability during adversarial training. We argue that these two infamous problems of unsupervised GAN training can be largely alleviated by a learnable memory network to which both generators and discriminators can access. Generators can effectively learn representation of training samples to understand underlying cluster distributions of data, which ease the structure discontinuity problem. At the same time, discriminators can better memorize clusters of previously generated samples, which mitigate the forgetting problem. We propose a novel end-to-end GAN model named memoryGAN, which involves a memory network that is unsupervisedly trainable and integrable to many existing GAN models. With evaluations on multiple datasets such as Fashion-MNIST, CelebA, CIFAR10, and Chairs, we show that our model is probabilistically interpretable, and generates realistic image samples of high visual fidelity. The memoryGAN also achieves the state-of-the-art inception scores over unsupervised GAN models on the CIFAR10 dataset, without any optimization tricks and weaker divergences.