Regularization of Conditional Generative Adversarial Networks by Moment Matching for Multimodal Generation

Abstract

최근 조건부 GAN(conditional generative adversarial networks)의 등장으로 이미지 변환(image-to-image translation), 이미지 채우기(image inpainting)와 같은 조건부 이미지 생성 기술이 발달하게 되었다. 조건부 GAN은 거의 모든 경우 GAN 손실 함수와 재건 손실 함수를 함께 사용하여 트레이닝 되는데, 우리는 이 일반적인 트레이닝 방법론이 생성물의 다양성을 크게 훼손한다는 것을 밝힌다. 우리는 트레이닝의 안정성과 생성 다양성을 모두 달성하기 위해 새로운 손실 함수와 트레이닝 방식을 제안한다. 우리의 손실 함수는 재건 손실 함수만을 간단히 대체하기 때문에 사실상 모든 조건부 생성 문제에 적용할 수 있다. 우리는 Cityscapes와 CelebA 데이터셋을 대상으로 이미지 변환, 이미지 채우기, 초해상(super-resolution) 실험을 진행하여 우리의 방법론이 일반적으로 적용될 수 있음을 보이고, 정량적 평가를 통해서도 우리의 방법론이 이미지의 품질을 해치지 않으면서 높은 생성 다양성을 달성하는 것을 확인한다.

Recent advances in conditional image generation tasks, such as image-to-image translation and image inpainting, can largely be accounted to the success of conditional GAN models, which are often optimized by the joint use of the GAN loss with the reconstruction loss. However, we show that this training recipe shared by almost all existing methods is problematic and has one critical side effect: lack of diversity in output samples. In order to accomplish both training stability and multimodal output generation, we propose novel training schemes with a new set of losses that simply replace the reconstruction loss, and thus are applicable to any conditional generation task. We show this by performing thorough experiments on image-to-image translation, super-resolution, and image inpainting tasks using Cityscapes, and CelebA dataset. Quantitative evaluation also confirms that our methods achieve a great diversity in outputs while retaining or even improving the quality of images.