Nonparametric dimension reductions on Riemannian manifolds

Abstract

Over the decades, parametric dimension reduction methods have been actively developed for non-Euclidean data analysis. Examples include Fletcher et al., 2004; Huckemann et al., 2010; Jung et al., 2011; Jung et al., 2012; Zhang et al., 2013. Sometimes the methods are not enough to capture the structure of data. This dissertation presents newly developed nonparametric dimension reductions for data observed on manifold, resulting in more flexible fits. More precisely, the main focus is on the generalizations of principal curves into Riemannian manifold. The principal curve is considered as a nonlinear generalization of principal component analysis (PCA). The dissertation consists of four main parts as follows.

First, the approach given in Chapter 3 lie in the same lines of Hastie (1984) and Hastie and Stuetzle (1989) that introduced the definition of original principal curve on Euclidean space. The main contributions of this study can be summarized as follows: (a) We propose both extrinsic and intrinsic approaches to form principal curves on spheres. (b) We establish the stationarity of the proposed principal curves on spheres. (c) In extensive numerical studies, we show the usefulness of the proposed method through real seismological data and real Human motion capture data as well as simulated data on 2-sphere, 4-sphere.

Secondly, As one of further work in the previous approach, a robust nonparametric dimension reduction is proposed. To this ends, absolute loss and Huber loss are used rather than L2 loss. The contributions of Chapter 4 can be summarized as follows: (a) We study robust principal curves on spheres that are resistant to outliers. Specifically, we propose absolute-type and Huber-type principal curves, which go through the median of data, to robustify the principal curves for a set of data which may contain outliers. (b) For a theoretical aspect, the stationarity of the robust principal curves is investigated. (c) We provide practical algorithms for implementing the proposed robust principal curves, which are computationally feasible and more convenient to implement.

Thirdly, An R package 'spherepc' comprehensively providing dimension reduction methods on a sphere is introduced with details for possible reproducible research. To the best of our knowledge, no available R packages offer the methods of dimension reduction and principal curves on a sphere. The existing R packages providing principal curves, such as 'princurve' and 'LPCM', are available only on Euclidean space. In addition, most nonparametric dimension reduction methods on manifold involve somewhat complex intrinsic optimizations. The proposed R package 'spherepc' provides the state-of-the-art principal curve technique on the sphere and comprehensively collects and implements the existing techniques.

Lastly, for an effective initial estimate of complex structured data on manifold, local principal geodesics are first provided and the method is applied to various simulated and real seismological data. For variance stabilization and theoretical investigations for the procedure, nextly, the focus is on the generalization of Kégl (1999); Kégl et al., (2000), which provided the new definition of principal curve on Euclidean space, into generic Riemannian manifolds. Theories including consistency and convergence rate of the procedure by means of empirical risk minimization principle, are further established on generic Riemannian manifolds. The consequences on the real data analysis and simulation study show the promising characteristics of the proposed approach.

본 학위 논문은 다양체 자료의 변동성을 더욱 효과적으로 찾아내기 위해, 다양체 자료의 새로운 비모수적 차원축소방법론을 제시하였다. 구체적으로, 주곡선(principal curves) 방법을 일반적인 다양체 공간으로 확장하는 것이 주요 연구 주제이다. 주곡선은 주성분분석(PCA)의 비선형적 확장 중 하나이며, 본 학위논문은 크게 네 가지의 주제로 이루어져 있다.

첫 번째로, Hastie (1984), Hastie and Stuetzle (1989}의 방법을 임의의 차원의 구면으로 표준적인 방식으로 확장한다. 이 연구 주제의 공헌은 다음과 같다. (a) 임의의 차원의 구면에서 내재적, 외재적인 방식의 주곡선 방법을 각각 제안한다. (b) 본 방법의 이론적 성질(정상성)을 규명한다. (c) 지질학적 자료 및 인간 움직임 자료 등의 실제 자료와 2차원, 4차원 구면위의 시뮬레이션 자료에 본 방법을 적용하여, 그 유용성을 보인다.

두 번째로, 첫 번째 주제의 후속 연구 중 하나로서, 두꺼운 꼬리 분포를 가지는 자료에 대하여 강건한 비모수적 차원축소 방법을 제안한다. 이를 위해, L2 손실함수 대신에 L1 및 휴버(Huber) 손실함수를 활용한다. 이 연구 주제의 공헌은 다음과 같다. (a) 이상치에 민감하지 않은 강건화주곡선(robust principal curves)을 정의한다. 구체적으로, 자료의 기하적 중심점을 지나는 L1 및 휴버 손실함수에 대응되는 새로운 주곡선을 제안한다. (b) 이론적인 측면에서, 강건화주곡선의 정상성을 규명한다. (c) 강건화주곡선을 구현하기 위해 계산이 빠른 실용적인 알고리즘을 제안한다.

세 번째로, 기존의 차원축소방법 및 본 방법론을 제공하는 R 패키지를 구현하였으며 이를 다양한 예제 및 설명과 함께 소개한다. 본 방법론의 강점은 다양체 위에서의 복잡한 최적화 방정식을 풀지않고, 직관적인 방식으로 구현 가능하다는 점이다. R 패키지로 구현되어 제공된다는 점이 이를 방증하며, 본 학위 논문의 연구를 재현가능하게 만든다.

마지막으로, 보다 복잡한 구조를 가지는 다양체 자료의 구조를 추정하기위해, 국소주측지선분석(local principal geodesics) 방법을 우선 제안한다. 이 방법을 실제 지질학 자료 및 다양한 모의실험 자료에 적용하여 그 활용성을 보였다. 다음으로, 추정치의 분산안정화 및 이론적 정당화를 위하여 Kégl (1999), Kégl et al., (2000) 방법을 일반적인 리만다양체로 확장한다. 더 나아가, 방법론의 일치성, 수렴속도와 같은 점근적 성질을 비롯하여 비점근적 성질인 집중부등식(concentration inequality)을 통계적학습이론을 이용하여 규명한다.