On the Stochastic Proximal Point Method That Is Independent of the Generalized Linear Model Assumption

Abstract

The stochastic gradient descent (SGD) method is a fast procedure for large-scale optimization problems since it does not require the evaluation of gradient of objective function which entails an expensive calculation of expectation over a huge population. Also, it is easy to implement since it only uses first order information of loss function. However, its instability and sensitiveness to the choice of initial step size are a serious issues in practical uses. To remedy these drawbacks of the SGD method, the stochastic proximal point (SPP) method was introduced. It has the same convergence rate as the SGD method but it is more stable and less sensitive to the choice of initial step size than the SGD method. This paper broaden the class of objective functions on which the SPP method can be implemented by eliminate the assumption that restrict the class of objective functions. This assumption is the generalized linear model (GLM) assumption. An additional benefit of elimination of the GLM assumption is that theoretical properties of the mini-batch update scheme for the SPP method are guaranteed. First, we provide finite-sample properties and asymptotic properties of the SPP method without the GLM assumption and with mini-batch update scheme. Next, we introduce some examples that the SPP method can be applied. Lastly, we provide results of applications on simulated data set.

확률적 경사하강법 (stochastic gradient descent, SGD) 방법은 큰 규모의 최적화 문제에 적용할 수 있는 빠른 최적화 방법이다. SGD 방법은 큰 데이터에 대한 기대값의 형태로 나타나는 gradient를 계산하지 않으며, 손실함수의 1차 정보만을 활용하기 때문에 적용하기가 쉽다. 하지만 SGD 방법의 불안정성과 초기 stepsize의 선택에 대한 민감성은 실제 적용에 있어서 큰 문제이다. 이러한 단점을 해결하기 위해서 확률적 근위점법 (stochastic proximal point, SPP) 방법이 소개되었다. SPP 방법은 SGD 방법과 비교했을 때 같은 수렴속도를 가지지만 더 안정적이며, 초기 스텝 크기의 선택에 덜 민감하다. 본 논문은 SPP 방법이 적용될 수 있는 목적함수의 범위를 제한하는 일반화선형모형 가정을 완화했다. 이 가정을 완화하게 되면 SPP 방법을 미니 배치 형태로 사용할 수 있다는 또다른 이점을 얻게 된다. 본 논문에서는 SPP 방법의 유한한 업데이트에서의 성질과 점근적성질을 일반화선형모형 가정 없이 보이고, 미니 배치 업데이트의 성질 역시 증명하였다. 그 다음으로, 본 논문에서는 SPP방법이 적용될 수 있는 사례를 소개하였다. 마지막으로, 생성된 데이터에 대한 실험결과를 제시하였다.