Publications

Detailed Information

Stochastic Learning for Oracle Estimator : 오라클 성질을 고려한 확률적 학습 알고리즘 개발

DC Field Value Language
dc.contributor.advisor김용대-
dc.contributor.author서지인-
dc.date.accessioned2021-11-30T04:55:46Z-
dc.date.available2021-11-30T04:55:46Z-
dc.date.issued2021-02-
dc.identifier.other000000165681-
dc.identifier.urihttps://hdl.handle.net/10371/176108-
dc.identifier.urihttps://dcollection.snu.ac.kr/common/orgView/000000165681ko_KR
dc.description학위논문 (박사) -- 서울대학교 대학원 : 자연과학대학 통계학과, 2021. 2. 김용대.-
dc.description.abstractFor high-dimensional models, variable selection is a fundamental task. Sparse penalized methods can select relevant variables and estimate coefficients simultaneously. The solution of the calibrated CCCP algorithm has the oracle property under certain regularity conditions. We focus on not only consistency of variable selection but also efficiency and feasibility of computation.
In this thesis, we develop a stochastic learning algorithm which provides a solution having the oracle property. We propose a two-stage stochastic learning algorithm based on the calibrated CCCP algorithm. Furthermore, we prove that the proposed algorithm can provide the solution which has the oracle property. The numerical
studies through the simulations and real applications support our theoretical results. We compare accuracy, variable selection consistency and computation efficiency. We empirically show that the solutions of two-stage algorithms compete well with the solution of the calibrated CCCP algorithm.
-
dc.description.abstract고차원 모형에서 변수 선택은 필수적인 작업이다. 성긴 벌점화 방법은 유의한 변수의 선택과 회귀계수의 추정을 동시에 할 수 있는 방법이다. 변수선택의 일치성을 위해 SCAD나 MCP와 같은 비볼록 벌점화 방법을 고려한다. 조정된 CCCP 알고리즘은 비볼록 함수의최적해를 효율적으로 찾을 수 있을 뿐만 아니라, 조정된 CCCP 알고리즘으로 구한 해는 특정 정규 조건하에서 1을 향해 가는 확률로 오라클 추정량이 된다고 알려져 있다.
한편, 고차원 자료를 다루기 위해서는 계산의 효율성과 구현 가능성도 중요하게 고려되어야 한다. 확률적 학습 알고리즘은 자료의 규모가 큰 경우 효율적인 계산이 가능하다. 본 연구에서는 오라클 성질을 갖는 해를 제공하는 확률적 학습 알고리즘을 개발한다. 이 학위 논문에서는 오라클 성질을 갖는 해를 제공하기 위해, 보정 된 CCCP 알고리즘을 기반으로 2 단계로 이루어진 확률적 학습 알고리즘을 제안한다. 제안 알고리즘이 오라클 성질을 가지는 해를 제공할수 있음을 증명하고, 시뮬레이션과 다양한 실제 자료분석을 통해 조정된 CCCP 알고리즘으로 구한 해와 비슷한 성능을 가질 수 있음을 실험적으로 입증하였다.
-
dc.description.tableofcontents1 Introduction 1
1.1 Overview 1
2 Review: Batch learning for Sprase Penalized Estimator and Oracle Property 5
2.1 Introduction 5
2.2 Sparse penalized method 6
2.2.1 The oracle estimator and the oracle property 7
2.2.2 LASSO estimator 7
2.2.3 Nonconvex penalized estimator 8
2.2.4 The CCCP algorithm 9
2.2.5 The calibrated CCCP algorithm 11
2.3 Oracle property 12
3 Review: stochastic learning algorithm 15
3.1 Introduction 15
3.2 Review of stochastic learning algorithms 17
3.2.1 Definitions and Notation 18
3.2.2 SGD (Stochastic Gradient Descent) 18
3.2.3 COMID (Composite-Objective Mirror Descent) 19
3.2.4 FOBOS (Forward Backward Splitting) 21
3.2.5 FTRL (Follow-The-Regularized Leader) 22
3.2.6 RDA (Regularized Dual Averaging) 24
3.3 Convergence of Algorithm 25
3.3.1 Regret bound 26
3.3.2 Convergence in Estimation 29
4 Stochastic learning algorithm for Oracle estimator 33
4.1 Introduction 33
4.2 The proposed algorithm 34
4.2.1 Considered stochastic optimization algorithms 34
4.2.2 Two-stage stochastic learning algorithm 37
4.3 Theoretical properties 38
4.3.1 Convergence of considered stochastic algorithm 38
4.3.2 Oracle property in two-stage Stochastic algorithm 48
5 Experiments 54
5.1 Simulation studies 54
5.2 Real data analysis 59
6 Conclusion 67
Bibliography 68
A Appendix A. 72
A.1 Computation of algorithm 72
A.1.1 FTRL-proximal 72
A.1.2 Centered RDA 73
A.1.3 RDA 75
A.2 Convergence of Algorithm 76
A.2.1 Dual norm 76
A.2.2 Regret bound 78
A.2.3 Convergence of Estimator 80
Abstract (in Korean) 85
-
dc.format.extentvi, 95-
dc.language.isoeng-
dc.publisher서울대학교 대학원-
dc.subjectCalibrated CCCP-
dc.subjectStochastic learning-
dc.subjectOracle estimator-
dc.subjectSCAD-
dc.subjectMCP-
dc.subjectRDA-
dc.subjectFTRL-
dc.subjectAdaGrad-
dc.subject조정된 CCCP-
dc.subject확률적 학습-
dc.subject오라클 추정량-
dc.subject.ddc519.5-
dc.titleStochastic Learning for Oracle Estimator-
dc.title.alternative오라클 성질을 고려한 확률적 학습 알고리즘 개발-
dc.typeThesis-
dc.typeDissertation-
dc.contributor.AlternativeAuthorSeo, Jiin-
dc.contributor.department자연과학대학 통계학과-
dc.description.degreeDoctor-
dc.date.awarded2021-02-
dc.identifier.uciI804:11032-000000165681-
dc.identifier.holdings000000000044▲000000000050▲000000165681▲-
Appears in Collections:
Files in This Item:

Altmetrics

Item View & Download Count

  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Share