Deep Learning-Based Density Estimation on Non-trivial Manifolds

Abstract

Generative models, a branch of deep learning, are designed to learn the dis- tribution of data. The prevailing assumption is to delineate the domain of these models within a Euclidean space, characterized by its topologically straightforward structure. This paper challenges the conventional notion of an Euclidean data space as overly restrictive and introduces a generative model adept at operating within a compact Riemannian manifold. To main- tain the geometric intricacies of differential manifolds, our model employs a flow-based generation framework since this framework is a diffeomorphism. We leverage mappers, a prominent tool in topological data analysis, to accu- rately determine the data spaces topological configuration, thereby estimat- ing the local subspace of the captured data and its distribution function. The robustness of our model is validated through both quantitative and qualita- tive experiments. These involve noisy synthetic data, sampled from Gaussian mixture models on manifolds of one and two dimensions that diverge topo- logically from Euclidean space. Furthermore, our findings illustrate that our model adeptly discerns the subspace characteristics of the latent space in the StyleGAN2 model, as trained on the FFHQ dataset. Key words: Deep learning, generative model, topological data analysis, statistics Student Number: 2020-34510

생성 모델은 딥러닝의 하위분야로 데이터의 분포를 학습한다. 기존의 가장 큰 가정은 생성 모델의 정의역을 위상적으로 간단한 구조를 가지고 있는 유클리드 공간으로 정의하는 것이다. 본 논문을 통해 데이터 공간을 유클리드 공간으로 가정하는 것이 강한 가정임을 실험을 통해 보이고, 데이터 공간을 옹골 리만 다양체로 일반화 했을 때 잘 호환되는 생성모델을 제시한다. 미분다양체의 기하학적 특성을 보존하기 위해서 미분동형사상으로 정의된 플로우 기반 생성모델을 백본 모델로 사용한다. 또한 데이터 공간의 위상적 모양을 추정하기 위해서 위상적 데이터 분석에서 가장 유명한 방법론 중 하나인 매퍼를 활용하고, 이를 통해 획득한 데이터의 국소적 부분공간과 그 위에서의 분포 함수를 추정한다. 유클리드 공간과 위상동형이 아닌 2차원, 1차원 다양체에서 가우시안 혼합모델을 통해 샘플링하고, 노이즈를 추가한 합성데이터를 이용해서 본 모델의 당위성을 정량적, 정성적인 실험을 통해 보인다. 그리고 FFHQ 데이터 셋으로 학습한 StyleGAN2모델의 잠재공간의 부분공간을 잘 학습할 수 있음을 보인다.