Asymptotic Analysis of Machine Learning Algorithms

Abstract

In this thesis, we study the asymptotic properties of three machine learning algorithms including two supervised learning algorithms with deep neural networks and a Bayesian learning method for high-dimensional factor models. The first research problem involves learning deep neural network (DNN) classifiers. We derive the fast convergence rates of a DNN classifier learned using the hinge loss. We consider various cases for a true probability model and show that the DNN classifier achieves fast convergence rates for all cases, provided its architecture is carefully selected. The second research topic is learning sparse DNNs. We propose a sparse learning algorithm, which minimizes penalized empirical risk using a novel sparsity-inducing penalty. We establish an oracle inequality for the excess risk of the proposed sparse DNN estimator and derive convergence rates for several learning tasks. In particular, the proposed sparse DNN estimator can adaptively attain minimax optimal convergence rates for nonparametric regression problems. The third part of the thesis is devoted to Bayesian non-parametric learning for high-dimensional factor models. We propose a prior distribution based on the two-parameter Indian buffet process, which is computationally tractable. We proved that the resulting posterior distribution concentrates on the true factor dimensionality as well as contracts to the true covariance matrix at a near-optimal rate.

본 논문은 세 가지 기계 학습 알고리즘의 점근 성질을 연구한다. 처음 두 장은 지도학습에 사용되는 깊은 신경망 학습을 다루며 마지막 장은 고차원 요인 모형의 베이지안 추정 방법에 대하여 연구한다. 첫 번째 장에서는 깊은 신경망 분류기에 대하여 연구한다. 우리는 힌지 손실 함수로 학습한 깊은 신경망 분류기가 몇 가지 확률 모형에 대해 빠른 수렴 속도를 달성함을 보였다. 두 번째 장에서는 깊은 신경망의 희소 학습에 대하여 연구한다. 우리는 경험 위험과 희소성을 부여하는 벌점 함수를 더한 목적 함수를 최소화하는 학습 방법을 제안하였다. 우리는 제안하는 깊은 희소 신경망 추정량에 대한 신의 부등식을 얻었으며, 이를 통해 몇 가지 통계 문제에서의 수렴 속도를 구하였다. 특히 제안하는 깊은 희소 신경망 추정량은 비모수 회귀 문제에서 적응적으로 최소최대 최적성을 달성함을 보였다. 마지막 장은 고차원 요인 모형에서 베이지안 학습의 점근 성질을 연구한다. 우리는 모수가 두개인 인도부페과정을 기반으로 한 사전분포를 제안하였다. 제안한 사전분포로부터 유도된 사후분포가 공분산 행렬을 거의 최적의 수렴 속도로 추정함과 동시에 요인 차원을 일관되게 추정할 수 있음을 증명하였다.