MM algorithm for sparse regression model with the fused lasso penalty and its parallelization using GPU

Abstract

본 논문에서는 고차원의 fuse lasso 벌점을 지닌 회귀 모형에 대해 GPU를 이용하여 병렬화된 MM 알고리즘을 제안하였다. 본 논문에서 다루는 모형에 대한 MM 알고리즘의 수렴성이 보장됨을 보이고 다양한 형태의 설명 변수의 행렬과 회귀 계수의 구조에 대해서 유연성과 안정성을 가짐을 수치적으로 확인하였다. MM 알고리즘과 기존의 다른 방법들을 다양한 예제들로 비교하여 병렬화된 MM 알고리즘이 차원이 큰 표준의 fused lasso 벌점을 갖는 회귀 모형에서 더 빠르게 추정량을 제공함을 보였다.

In this paper, we propose a majorization-minimization (MM) algorithm for high-dimensional fused lasso regression (FLR) suitable for parallelization using graphics processing units (GPUs). The MM algorithm is stable and exible as it can solve the FLR problems with various types of design matrices and penalty structures within a few tens of iterations. We also show that the convergence of the proposed algorithm is guaranteed. We conduct numerical studies to compare our algorithm with other existing algorithms, demonstrating that the proposed MM algorithm is competitive in many settings including the two-dimensional FLR with arbitrary design matrices. The merit of GPU parallelization is also exhibited.