Review on a double descent in the high dimensional regime

Abstract

Modern statistical methods, such as deep neural network, give rise to many thought-provoking phenomena. We deal with one of them, double descent. Double descent occurs when a model with a sufficiently large number of parameters has good generalization. This seems to conflict with the classical notion of bias-variance tradeoff. Recent studies have tried to explain this interesting phenomenon across a variety of statistical methodologies. Here, we review and compare proposed interpretations in linear regression, linear discrimination, and deep neural network.

심층 신경망과 같은 현대 통계적 방법론들은 다양한 생각을 불러일으키는 현상을 일으키고 있다. 우리는 그 중 하나인 이중하강현상을 다룬다. 이중하강현상은 충분히 많은 수의 매개변수가 있는 모델이 좋은 일반화를 가질 때 발생한다. 이것은 고전적인 편향-분산 절충의 개념과 충돌하는 것으로 보인다. 최근 연구들은 다양한 통계 방법론에 걸쳐 이 흥미로운 현상을 설명하려 노력하였다. 여기에서 우리는 선형 회귀분석, 선형 판별분석 및 심층 신경망에서 제안된 해석을 검토하고 비교한다.