Stochastic gradient descent from a statistical point of view

Abstract

We present a statistical insight into the stability of stochastic gradient methods. By considering the algorithm as a stochastic process, we figure out the bound of the uniform stability of stochastic gradient descent depending on optimization steps. We also get the bound of the uniform stability of Nesterov momentum stochastic gradient descent. We show how parameter distance behaves by experiment, and conclude that our analysis fits well on many different datasets.

우리는 확률 경사 하강법의 안정성에 대한 통계적 시야를 제시한다. 알고리 즘을 확률 과정으로 여김으로써, 우리는 최적화 과정에 따른 확률 경사 하강법 의 균등 안정성의 경계를 알아낸다. 또한 우리는 네스테로브 운동량 확률 경사 하강법의 균등 안정성의 경계를 구한다. 우리는 실험에 의해 변수 거리가 어떻 게 변화하는 지 보이고, 우리의 분석이 많은 다른 데이터셋에 잘 적용된다고 결론짓는다.