Variable Selection Methods in High-Dimensional Regression Analysis

Abstract

High-dimensional data analysis is attracting attention in many fields these days. In particular, it is a difficult and important problem to select a variable that has a significant effect among numerous variables. Several statistical methods exist to solve this problem, such as multiple testing and LASSO in linear regression models. In this paper, we introduce the case of Lasso, adaptive Lasso, Elastic net, and generalized linear models in B ̈uhlmann and Van De Geer (2011) [3]. Also, we review and cover the multiple testing procedures and introduce a recent method of false discovery rate(FDR) control via data splitting proposed by Dai et al.(2022) [4]. Finally, if relevant variables are sparse, we check whether the adaptive Lasso estimator gives better results than the Lasso estimator through simulation. In addition, we confirm that the MDS method is more stable and has higher empirical power than the DS method by simulation.

최근 많은 분야에서 고차원 데이터 분석이 주목받고 있다. 특히 수많은 변수 중에서 유의미한 영향을 미치는 변수를 선택하는 것은 어렵고도 중요한 문제이다. 이 문제를 해결하기 위해 선형 회귀 모델에서 다중 검정 및 LASSO와 같은 몇 가지 통계적 방법이 있다. 본 논문에서 우리는 B ̈uhlmann and Van De Geer (2011)[3]에서 다루는 Lasso, Adaptive Lasso, Elastic net 및 일반화된 선형 모델 사례를 소개한다. 또한, 우리는 여러 다중 검정 절차를 다루고 Dai et al.(2022)[4]가 최근에 제안한 데이터 분할을 통한 허위 발견률(FDR) 제어 방법을 소개한다. 마지막으로 유의한 변수가 희소한 경우 Lasso 추정량보다 적응형 Lasso 추정량이 더 좋은 결과를 주는지 시뮬레이션으로 확인해 본다. 그리고 DS와 MDS 방법으로 FDR을 통제하는 경우 MDS 방법이 DS 방법보다 더 안정적이고 경험적 검정력이 높은 것을 시뮬레이션을 통해 확인해 본다.