Statistical distance of conditional distributions and its applications

Abstract

This thesis establishes the relationship between the statistical distance of conditional distributions and of joint distributions for various statistical distances including f-divergence, Wasserstein distance, and integral probability metrics. For f-divergence and integral probability metrics, we derive that the expected distance between conditional distributions can be expressed as the distance between joint distributions. For Wasserstein distance, we derive that the distance between joint distributions is an upper bound of the expected distance between conditional distributions. Based on the derived relationship, we propose a new conditional generator, conditional Wasserstein generator (CWG). CWG minimizes an upper bound of the expected Wasserstein distance between target and model conditional distributions given conditioning data under a Lipschitz continuity condition of the model. Our proposed algorithm can be viewed as an extension of Wasserstein autoencoders (Tolstikhin et al., 2018) to conditional generation or as a Wasserstein counterpart of stochastic video generation (SVG) model by Denton and Fergus, 2018. We apply the proposed method to two applications, video prediction and video interpolation. Our experiments demonstrate that the proposed algorithm performs well on benchmark video datasets and produces sharper videos than state-of-the-art methods.

본 학위논문은 조건부 분포 간 통계적 거리와 결합 분포 간 통계적 거리의 관계를 탐구하며, 기계학습의 대표적 통계적 거리인 f-괴리도 (f-divergence), 와서스타인 거리 (Wasserstein distance), 그리고 적분확률측도 (Integral probability metric)에 대한 이론적 결과를 도출한다. f-괴리도와 적분확률측도의 경우 조건부 분포 간 거리의 기댓값을 결합 분포 간 거리로 표현하는 방식을, 와서스타인 거리의 경우 결합 분포 간 거리가 조건부 분포 간 거리의 기댓값의 상한임을 유도한다. 특히, 지구발동기거리 (Earth mover's distance)가 적분확률측도인 동시에 와서스타인 거리인 유일한 통계적 거리임에 주목하여 유도된 결론들을 적용하고, 이로부터 조건부 분포 간 지구발동기거리 거리의 새로운 듀얼 표현 (Dual representation)를 찾아낸다. 도출된 결과를 기반으로 새로운 조건부 생성기인 조건부 와서스타인 생성기 (Conditional Wasserstein generator; CWG)를 제안한다. 조건부 와서스타인 생성기는 모형의 립시츠 연속성 조건으로 조건부 분포 간 와서스타인 거리의 기댓값의 상한을 최소화하는 알고리즘이다. 이는 와서스타인 오토인코더 (Wasserstein autoencoders)의 조건부 생성으로의 확장인 동시에 확률적 비디오 생성 (Stochastic video generation) 모형의 와서스타인 대응물이다. 우리는 조건부 와서스타인 생성기를 두 가지 고차원 조건부 생성 문제, 비디오 예측과 비디오 보간에 적용한다. 실험을 통해 제안된 알고리즘이 벤치마크 비디오 자료에서 고품질 비디오를 생성하며 기존 방법들보다 성능이 뛰어남을 보인다.