Publications

Detailed Information

Review on a double descent in the high dimensional regime : 고차원에서의 이중하강현상에 대한 고찰

DC Field Value Language
dc.contributor.advisor정성규-
dc.contributor.author장우녕-
dc.date.accessioned2022-04-20T07:50:30Z-
dc.date.available2022-04-20T07:50:30Z-
dc.date.issued2021-
dc.identifier.other000000166903-
dc.identifier.urihttps://hdl.handle.net/10371/178929-
dc.identifier.urihttps://dcollection.snu.ac.kr/common/orgView/000000166903ko_KR
dc.description학위논문(석사) -- 서울대학교대학원 : 자연과학대학 통계학과, 2021.8. 정성규.-
dc.description.abstractModern statistical methods, such as deep neural network, give rise to many thought-provoking phenomena. We deal with one of them, double descent. Double descent occurs when a model with a sufficiently large number of parameters has good generalization. This seems to conflict with the classical notion of bias-variance tradeoff.
Recent studies have tried to explain this interesting phenomenon across a variety of statistical methodologies. Here, we review and compare proposed interpretations in linear regression, linear discrimination, and deep neural network.
-
dc.description.abstract심층 신경망과 같은 현대 통계적 방법론들은 다양한 생각을 불러일으키는 현상을 일으키고 있다. 우리는 그 중 하나인 이중하강현상을 다룬다. 이중하강현상은 충분히 많은 수의 매개변수가 있는 모델이 좋은 일반화를 가질 때 발생한다. 이것은 고전적인 편향-분산 절충의 개념과 충돌하는 것으로 보인다. 최근 연구들은 다양한 통계 방법론에 걸쳐 이 흥미로운 현상을 설명하려 노력하였다. 여기에서 우리는 선형 회귀분석, 선형 판별분석 및 심층 신경망에서 제안된 해석을 검토하고 비교한다.-
dc.description.tableofcontents1 INTRODUCTION 1
2 Preliminary 3
2.1 Simple example 3
2.2 Classical bias-variance trade-off 4
2.3 Interpolation threshold and interpolaters 5
2.3.1 Min-norm least square estimator 6
2.3.2 Maximum margin classifier 7
2.3.3 Maximum data piling 8
3 Modern bias-variance trade-off in statistical models 9
3.1 Linear regression 9
3.2 Linear classification 11
3.3 Neural networks 11
3.3.1 Model-wise double descent 12
3.3.2 Epoch-wise double descent 13
3.3.3 Sample-wise double descent 13
4 Conclusion 14
Abstract (In Korean) 18
-
dc.format.extentiv, 18-
dc.language.isoeng-
dc.publisher서울대학교 대학원-
dc.subjectModern statistical methods-
dc.subjectDouble descent-
dc.subjectLinear regression-
dc.subjectLinear discrimination-
dc.subjectDeep neural network-
dc.subject현대 통계적 방법론-
dc.subject이중하강현상-
dc.subject선형 회귀분석-
dc.subject선형 판별분석-
dc.subject심층 신경망-
dc.subject.ddc519.5-
dc.titleReview on a double descent in the high dimensional regime-
dc.title.alternative고차원에서의 이중하강현상에 대한 고찰-
dc.typeThesis-
dc.typeDissertation-
dc.contributor.AlternativeAuthorWoonyoung Chang-
dc.contributor.department자연과학대학 통계학과-
dc.description.degree석사-
dc.date.awarded2021-08-
dc.identifier.uciI804:11032-000000166903-
dc.identifier.holdings000000000046▲000000000053▲000000166903▲-
Appears in Collections:
Files in This Item:

Altmetrics

Item View & Download Count

  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Share