Riemannian Distortion Measures for Non-Euclidean Data

Abstract

A growing number of problems in machine learning involve data that is non-Euclidean. A naive application of existing learning algorithms to such data often produces results that depend on the choice of local coordinates used to parametrize the data. At the same time, many problems in machine learning eventually reduce to an optimization problem, in which the objective is to find a mapping from one curved space into another that best preserves distances and angles. We show that these and other problems can be naturally formulated as the minimization of a coordinate-invariant functional that measures the proximity to an isometry of a mapping between two Riemannian manifolds. We first show how to construct general coordinate-invariant functionals of mappings between Riemannian manifolds, and propose a family of functionals that measures how close a mapping is to being an isometry. We then formulate coordinate-invariant distortion measures for manifold learning of non-Euclidean data, and derive gradient-based optimization algorithms that accompany these measures. We also address the problem of autoencoder training for non-Euclidean data using our Riemannian geometric perspective. Both manifold learning and autoencoder case studies involving non-Euclidean datasets illustrate both the underlying geometric intuition and performance advantages of our Riemannian distortion minimization framework.

기계학습에서 비 유클리드 데이터를 다루는 문제가 점차 늘어나고 있다. 기존의 기계학습 알고리즘을 비 유클리드 데이터에 그대로 적용하면 그 결과는 흔히 데이터를 매개변수화하는 국소 좌표계에 의존하게 된다. 이와 동시에 많은 수의 기계학습 문제들이 결과적으로 두 휘어진 공간 사이에서 거리와 각도를 가장 잘 보존하도록 하는 사상을 찾는 최적화 문제에 도달하게 된다. 우리는 이러한 문제들이 두 리만 다양체 사이의 사상이 등거리변환에서 얼마나 가까운지를 측정하는 좌표 불변 범함수의 최소화 문제로 자연스럽게 공식화될 수 있다는 것을 보인다. 먼저 두 리만 다양체 사이의 사상에 대한 일반적인 좌표 불변 범함수를 구축하는 방법을 제시하고, 사상이 등거리변환에서 얼마나 가까운지를 측정하는 범함수들의 모임을 제시한다. 그리고 비 유클리드 데이터의 다양체 학습을 위한 좌표 불변 뒤틀림 측도를 공식화하고, 이 측도에 대한 그래디언트 기반 최적화 알고리즘을 유도한다. 또한, 제시된 리만 기하학적 관점을 이용하여 비 유클리드 데이터의 오토인코더 학습 문제를 다룬다. 비 유클리드 데이터 세트를 활용한 다양체 학습과 오토인코더 사례 연구는 내재한 기하학적인 직관과 제시된 리만 뒤틀림 최소화 기법의 성능 이점을 분명히 보여준다.