SoftFlow: Probabilistic Framework for Normalizing Flow on Manifolds

Abstract

Flow-based generative models are composed of invertible transformations between two random variables of the same dimension. Therefore, flow-based models cannot be adequately trained if the dimension of the data distribution does not match that of the underlying target distribution. In this paper, we propose SoftFlow, a probabilistic framework for training normalizing flows on manifolds. To sidestep the dimension mismatch problem, SoftFlow estimates a conditional distribution of the perturbed input data instead of learning the data distribution directly. We experimentally show that SoftFlow can capture the innate structure of the manifold data and generate high-quality samples unlike the conventional flow-based models. Furthermore, we apply the proposed framework to 3D point clouds to alleviate the difficulty of forming thin structures for flow-based models. The proposed model for 3D point clouds, namely SoftPointFlow, can estimate the distribution of various shapes more accurately and achieves state-of-the-art performance in point cloud generation.

플로우 기반의 생성 모델은 동일한 차원을 지닌 확률 변수 간의 관계를 정의하는 가역 함수로 구성된다. 따라서 일반적인 플로우 기반의 모델은 데이터 분포가 표현하는 차원과 타겟으로 삼으려는 분포의 차원이 서로 다른 경우 올바르게 훈련될 수 없다. 본 논문에서는 저차원의 매니폴드를 따라 분포하는 데이터에 대해서도 플로우 모델을 효과적으로 학습하기 위해 SoftFlow라는 확률적 프레임워크를 새로이 제시한다. SoftFlow는 데이터가 표현하는 분포와 타겟 분포의 차원이 다른 문제를 해결하기 위해 데이터의 분포를 직접 추정하는 것이 아니라 노이즈가 더해진 데이터의 조건부 분포를 추정한다. 실험을 통해 기존의 플로우 기반 모델들과는 달리 SoftFlow는 데이터의 실제 분포를 잘 추정하고 고품질의 합성 샘플을 생성할 수 있다는 것을 보인다. 더 나아가 얇은 구조물을 포함한 3D 점구름을 보다 잘 모델링하기 위해 SoftFlow를 점구름 데이터에 응용한 SoftPointFlow를 새로이 제안한다. SoftPointFlow는 다양한 3D 점구름 모양을 세밀하게 표현할 수 있다는 것을 실험적으로 보이며, 현재까지 보고된 3D 점구름 모델 중 가장 우수한 성능을 낼 수 있다는 것을 확인한다.