Stochastic Learning for Oracle Estimator

Abstract

For high-dimensional models, variable selection is a fundamental task. Sparse penalized methods can select relevant variables and estimate coefficients simultaneously. The solution of the calibrated CCCP algorithm has the oracle property under certain regularity conditions. We focus on not only consistency of variable selection but also efficiency and feasibility of computation. In this thesis, we develop a stochastic learning algorithm which provides a solution having the oracle property. We propose a two-stage stochastic learning algorithm based on the calibrated CCCP algorithm. Furthermore, we prove that the proposed algorithm can provide the solution which has the oracle property. The numerical studies through the simulations and real applications support our theoretical results. We compare accuracy, variable selection consistency and computation efficiency. We empirically show that the solutions of two-stage algorithms compete well with the solution of the calibrated CCCP algorithm.

고차원 모형에서 변수 선택은 필수적인 작업이다. 성긴 벌점화 방법은 유의한 변수의 선택과 회귀계수의 추정을 동시에 할 수 있는 방법이다. 변수선택의 일치성을 위해 SCAD나 MCP와 같은 비볼록 벌점화 방법을 고려한다. 조정된 CCCP 알고리즘은 비볼록 함수의최적해를 효율적으로 찾을 수 있을 뿐만 아니라, 조정된 CCCP 알고리즘으로 구한 해는 특정 정규 조건하에서 1을 향해 가는 확률로 오라클 추정량이 된다고 알려져 있다. 한편, 고차원 자료를 다루기 위해서는 계산의 효율성과 구현 가능성도 중요하게 고려되어야 한다. 확률적 학습 알고리즘은 자료의 규모가 큰 경우 효율적인 계산이 가능하다. 본 연구에서는 오라클 성질을 갖는 해를 제공하는 확률적 학습 알고리즘을 개발한다. 이 학위 논문에서는 오라클 성질을 갖는 해를 제공하기 위해, 보정 된 CCCP 알고리즘을 기반으로 2 단계로 이루어진 확률적 학습 알고리즘을 제안한다. 제안 알고리즘이 오라클 성질을 가지는 해를 제공할수 있음을 증명하고, 시뮬레이션과 다양한 실제 자료분석을 통해 조정된 CCCP 알고리즘으로 구한 해와 비슷한 성능을 가질 수 있음을 실험적으로 입증하였다.