Groupwise Doubly Sparse Penalized Maximum Likelihood Estimation on High Dimensions

Abstract

In many regression problems, covariates can be naturally grouped. It may help to improve performance that ncorporating the group structure information into the analysis to select signal groups. We consider the doubly sparse penalty for group variable selection. In this paper, we study large sample properties of the groupwise doubly sparse (GDS) penalized maximum likelihood estimation for high-dimensional parameters. We show that the estimator satisfies the group selection consistency for maximum likelihood estimation, even when the number of parameters is much larger than the sample size. Numerical studies show superior performances of the GDS penalized maximum likelihood estimator in comparisons with other existing methods.

많은 회귀분석 문제에서 설명변수가 자연스럽게 그룹핑되어 있는 경우를 종종 볼 수 있다. 유의미한 그룹을 선택하는 분석에서 이러한 설명변수의 그룹구조 정보를 추가하는 것은 분석결과를 향상시키는데 도움을 줄 수도 있다. 본 연구에서는 그룹을 선택하는 문제에서 GDS 제한함수를 고려하였다. 본 학위논문에서는 고차원 모수를 가진 최대우도 추정문제에서 GDS 제한함수를 적용한 추정량의 이론적인 성질에 대해 연구하였다. 자료의 개수보다 예측변수의 개수가 훨씬 많은 고차원 모형에서 제안된 방법은 그룹 선택 일치성을 만족하는 것을 보였다. 구체적으로 첫째, 의미없는 그룹에서의 변수들을 버리고, 유의미한 그룹에서의 변수들만을 가지고 구한 LASSO 추정량인 '신의 LASSO 추정량'은 GDS 제한함수를 적용한 최대우도 추정량의 하나임을 증명하였다. 둘째, 자료에 대한 조건과 정규 가정아래, GDS 제한함수를 적용한 최대우도 추정문제에서 '신의 LASSO 추정량'은 광역 극대화자임을 증명하였다. 마지막으로 모의실험과 실제자료를 통해 제안된 방법이 실제 그룹을 잘 선택하다는 것을 보였고, 다른 방법들에 비해 성능이 더 우수하다는 것을 보였다.