Solution path algorithm for sparse regression with weighted pair-wise fused lasso penalty

Abstract

정규화 과정은 예측정확도와 고차원에서의 변수선택에 있어서 필수적이다. 우리는 쌍별 규합 벌점 회귀분석에서 새로운 가중치를 사용하는 것을 제안한다. 이 방법은 성긴모형와 비성긴모형, 그룹모형과 비그룹모형을 포함하는 다양한 상황에서 적용할 수 있는 장점이 있다. 정규화 과정에 있어서, 경로해를 구하는 효율적인 계산은 중요한 문제라고 할 수 있다. 여러 문헌에서 다양한 경로해를 구하는 문제를 제시하고 있는데 주로 KKT조건을 이용한다. 하지만 많은 가공변수들이 있을 경우에는 KKT조건을 이용하는 것이 어려울 수 있다. 우리는 가중 규합 벌점 회귀 문제에서 부분도함수를 이용해서 경로해를 구하는 알고르즘을 제시한다. 제시된 알고리즘은 정확한 경로해를 구할 수 있고 효율적인 계산을 제공한다. 가상실험과 실제자료분석에서 우리의 제시된 벌점회귀방법은 이전의 다른 방법들과 비교할 만한 결과를 주었다.

Regularization is essential for obtaining high predictive accuracy and selecting relevant variables in high-dimensional data. We propose using a new weight in pairwise fused lasso penalty. This penalized regression method adapts to a variety of situations including sparseness and non-sparseness, grouping and non-grouping. In regularization, especially for high-dimensional data analysis, efficient computation of the solutions for all values of tuning parameters is critical for adaptive tuning. In the literature, there exist several algorithms computing an entire solution path. All use the Kuhn-Tucker conditions for constructing the solution path. However, It is difficult to apply the Kuhn-Tucker conditions when many slack variables are involved. We introduce a homotopy algorithm utilizing the sub-differential, a systematic method of handling non-smooth functions, for developing regularization solution path. Our algorithm for weighted pairwise fused lasso solve a solution path exactly and has efficient computation. In simulations and real data experiments, our proposed penalized method is comparable with popular alternatives.