Calibrating Nonconvex Penalized Regression for Logistic Model in Ultra-high Dimension

Abstract

In high dimensional linear regression, penalized regression methods are used for estimation and variable selection simultaneously. The LASSO is a penalized regression method which is easy to compute the solution, but the LASSO solution is hard to satisfy the variable selection consistency. Nonconvex penalized regression methods such as the SCAD and the MCP have the oracle property which contains variable selection consistency. However, direct computation of the global solution to the nonconvex penalized regression is infeasible. The calibrated CCCP is developed which can obtain the oracle estimator as the unique local minimum.

We propose the calibrated CCCP for logistic model. We prove that the calibrated CCCP for logistic model produces a consistent solution path which contains the oracle estimator with probability tending to one. Since the loss function for logistic model is not quadratic, we apply the MLQA-CCCP algorithm for the penalized objective function. Furthermore, we extend the theoretical result to the case of Huber loss instead of the logistic loss. The numerical experiments support our theoretical results.

고차원 선형회귀분석에서 벌점화 회귀 방법은 추정과 변수선택을 동시에 하는 방법이다. 라소는 벌점화 회귀 방법의 한가지로, 그 해를 구하기 쉽다는 장점이 있으나 변수선택 일치성을 만족하기 어렵다. MCP와 SCAD 등과 같은 비볼록 벌점화 회귀 방법은 변수선택 일치성을 포함한 신의 성질을 가진다. 그러나 비볼록 벌점화 회귀에서 전역 최적해의 직접적인 계산이 어려워 신의 추정량을 구하기가 어렵다. 한편, 조정된 CCCP 알고리즘으로 구한 유일한 국소 최소해는 신의 추정량이 된다는 이론적 사실이 알려져있다. 본 논문에서는 로지스틱 모형에 대한 조정된 CCCP 알고리즘을 제안한다. 그리고 로지스틱 모형의 조정된 CCCP 알고리즘으로 계산된 해가 1로 향해가는 확률로 신의 추정량이 됨을 증명한다. 로지스틱모형에서는 손실함수가 2차함수가 아니기 때문에, MLQA-CCCP 알고리즘을 적용하였다. 또한, 로지스틱 손실함수를 확장하여 Huber 손실함수에서도 같은 결과가 성립함을 증명한다. 본 논문의 수치 실험들은 이론적 결과들을 뒷받침한다.