Geometric Methods for Manifold Representation Learning

Abstract

Observations from real-world problems are often high-dimensional, and it is very challenging to directly apply machine learning algorithms to data living in such a high-dimensional space, known as the curse of dimensionality. The manifold hypothesis assumes that high-dimensional data lie approximately on some lower-dimensional manifold, suggesting that the data set initially described by many variables can actually be described by a much smaller number of variables. Discovering the lower-dimensional manifold structure and finding its representation -- which we call the manifold representation -- is one of the most fundamental problems in machine learning.

Autoencoders -- which consist of the encoders that map high-dimensional data points to their low-dimensional representations (i.e., latent values) and decoders that map the latent values back to their original data points -- are widely used to identify the underlying lower-dimensional manifold and its representation space, simultaneously. In this thesis, we address two fundamental problems of vanilla autoencoders: (i) the wrong manifold problem -- they often produce manifolds that overfit to noisy training data or have the wrong local connectivity and geometry --, and (ii) the distorted latent space problem -- they learn geometrically distorted latent representations in the sense that distances and angles between data points are not well-preserved in the representation space.

Because the manifold is usually not flat but rather a curved space, taking into account the underlying geometry of the manifold is crucial to ensuring good results that do not depend on, e.g., the choice of coordinates. Not surprisingly, existing autoencoder methods for the most part focus on the latent space distributions that are entirely determined by the encoders, yet little if any consideration has been given to the decoders, and they often fail to correctly account for the underlying geometry of the data. This thesis presents a class of autoencoder-based algorithms for manifold representation learning that address these shortcomings. One of the interesting findings in this thesis is that the decoder plays an equally or sometimes more important role than the encoder in autoencoder-based representation learning.

The proposed geometric methods either exploit a priori constructed neighborhood graph or pre-designed Riemannian metric in data space to formulate new loss functions for learning correct manifolds and geometry-preserving latent space coordinates. In particular, in our Riemannian geometric formulations -- when we assume and adopt the Riemannian geometry of the data space --, we pay special attention to the coordinate-invariance properties of the regularization terms so that they capture geometrically meaningful quantities. Experiments with a wide range of image, motion capture, and point cloud data sets confirm that, compared to existing state-of-the-art methods, our methods learn the manifold more accurately and with less distortion, improving performance for standard downstream tasks such as image retrieval, clustering, and classification, in some cases by significant margins.

실세계 문제에서 우리가 관측하는 데이터들은 대부분 고차원이며, 이러한 고차원 데이터에 기계학습 알고리즘을 바로 적용하기는 매우 어렵다. 다양체 가정에서는 고차원의 데이터가 실제로는 더 작은 차원의 다양체 위에 놓여 있다고 가정한다. 즉, 초기에 데이터를 표현하는 변수의 수보다 훨씬 적은 수의 변수로 데이터의 표현이 가능하다는 것이다. 데이터가 놓여있는 저차원의 다양체 구조와 그것의 표현을 알아내는 것, 즉 다양체 표현 학습은 기계 학습에서 중요한 문제 중 하나이다.

오토인코더는 고차원의 데이터를 저차원의 표현 공간으로 보내주는 인코더와, 저 차원의 인코딩된 값을 다시 고차원의 데이터 공간으로 보내주는 디코더로 이루어져 있으며, 저차원의 다양체 구조와 표현을 학습하는 데 널리 사용되고 있다. 본 학위논문에서는, 이러한 오토인코더의 두 가지 문제점을 발견하고 해결한다. 첫 번째 문제점은 오토인코더가 노이즈에 과적합 된 다양체를 학습하거나 잘못된 기하학적 연결 관계를 가지는 다양체를 학습하는 것이고, 둘째는 오토인코더가 데이터 간의 거리와 각도 관계를 보존하지 못하는 기하학적으로 왜곡된 표현공간을 학습하는 문제이다.

학습하고자 하는 다양체는 보통 곡률이 있기 때문에, 기저의 기하학적 특성을 고려하여 좌표계에 의존하지 않는 알고리즘을 설계하는 것이 매우 중요하다. 기존의 오토인코더 방법들은 대부분 인코더에 의해 완전히 결정되는 표현 공간에 집중했으며, 디코더에는 거의 관심을 가지지 않았고, 특히 데이터의 기저에 있는 기하학적인 특성을 반영하고 있지 않다. 본 학위논문은 이러한 단점들을 해결하는 새로운 오토인코더 기반 다양체 학습 알고리즘들을 제안한다. 본 논문에서의 흥미로운 발견 중의 하나는, 오토인코더 기반 다양체 학습에서, 디코더가 인코더와 동등하게 혹은 때때로 더 중요한 역할을 한다는 점이다.

제안된 기하학적 방법들은 사전에 만들어진 이웃 그래프 혹은 리마니안 메트릭을 활용하여 정확한 다양체와 기하를 보존하는 표현을 학습하기 위한 새로운 손실 함수들을 제안하였다. 특히, 리만 기하학을 활용한 방법에서는, 정규화 항이 좌표계 불변성을 만족하도록 설계하여 기하학적으로 유의미한 값을 측정하도록 하였다. 다양한 사진, 모션 캡처, 점 구름 데이터를 이용한 실험을 통해, 기존에 존재하는 최신의 오토인코더 방법 대비, 우리의 방법이 다양체를 더 정확하게 더 적은 왜곡으로 학습함을 보였다. 또한, 사진 검색, 군집화, 분류 등의 다양한 다운스트림 작업의 성능이 향상됨을 보였다.