Data-efficient Generative Modeling

Abstract

생성 모델인 GAN과 같은 도구를 사용하여 다양하고 현실적인 이미지를 생성하는 것은 대량의 이미지로 대규모 훈련을 요구하는 경우가 일반적 이다. 제한된 데이터로 훈련된 GAN들은 손쉽게 적은 수의 훈련 샘플들 을 기억하게 되고, 출력 공간에서 불연속적인 전환을 초래하는 계단형 잠재 공간과 같은 불필요한 특성들을 나타내게 된다. 본 연구에서는 사 전훈련이 없는 소량샘플 이미지 합성이라는 어려운 과제를 고려하고, 최 소한의 과적합과 모드 붕괴로 기존 생성 모델을 훈련하는 방법을 탐구한 다. 우리는 생성자와 상대판별자의 특성 공간에 대한 믹스업 기반 거리 정규화를 제안하며, 이것은 두 플레이어가 희박한 관측 데이터 포인트뿐 만 아니라 그들이 존재하는 특성 공간에서의 상대적 거리에 대해 이해하 도록 장려한다. 다양한 데이터셋에서의 질적 및 양적 평가 결과가 우리 의 방법이 소량샘플 설정 하에서 생성 이미지의 품질과 다양성을 모두 향상시킬 수 있음을 보여준다.

Generative models, such as GANs, typically need large-scale training with a substantial volume of images to generate a variety of realistic images. GANs trained on small dataset can easily memorize the training samples and display undesirable properties like stairlike latent space where interpolation in the latent space yields discontinuous transitions in the output image space. In this work, we consider a challenging task of pretraining-free few-shot image generation, and seek to train existing generative models while minimizing overfitting and mode collapse. We propose mixup-based distance regularization on the feature space of both the generator and the discriminator that encourages the two adversaries to reason not only about the scarce observed data points but the relative distances in the feature space they reside. Qualitative and quantitative evaluations on diverse datasets demonstrate that our method is generally applicable to existing models to improve both fidelity and diversity under few-shot setting.