이차 적률 행렬이 갱신되는 변수에 의존하는 경우의 적률 조정 근위 경사하강법 수렴 분석

Abstract

본 논문에서는 매끄럽지 않은 정규화 항이 있는 목적함수를 최적화하는 MadProx 방법을 소개하고 그 수렴성을 분석한다. MadProx에 앞서, MadProx의 근간이 되는 방법인 MasGrad 방법을 소개하고 MasGrad의 통계적 추론 성질을 증명할 것이다. MadProx 방법은 이차 적률 행렬이 갱신되는 변수에 의존하지 않는 경우와 같은 제한된 조건에서 수렴한다는 한계가 있었다. 본 논문에서는 새로운 검색 방향을 정의하고 고정된 단계-크기가 아닌 직선 탐색 과정을 통해 매 반복마다 단계-크기를 정하는 알고리즘을 소개할 것이다. 그렇게 구한 검색 방향과 단계-크기로 이차 적률 행렬이 갱신되는 변수에 의존하는 경우에도 MadProx가 수렴함을 보일 것이다. 더불어, 데이터 시뮬레이션 환경에서 L1-노름 정규화 항이 있는 로지스틱 회귀를 대표 모형으로 하여 MadProx의 수렴 속도를 다른 반복법들과 비교할 것이다.

In this paper, we introduce MadProx method that optimizes the objective function with a non-smooth normalization term and analyze its convergence. Prior to MadProx, we will introduce MasGrad method, which is the basis of MadProx, and prove the statistical inference properties of MasGrad. MadProx method has a limitation in that it converges under limited conditions, such as when the second moment matrix does not depend on the updated variable. In this paper, we will define a new search direction and introduce an algorithm that chooses a step-size at each iteration through a line search procedure rather than a fixed step-size. We will show MadProx with the search direction and step-size obtained through the line search procedure converges even if the second moment matrix depends on the updated variable. In addition, the convergence rate of MadProx will be compared with other iterative methods using logistic regression with L1-regularization terms as a representative model in a data simulation environment.