Browse

Stochastic gradient descent from a statistical point of view
통계적 관점에서 본 확률 경사 하강법

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors
임수이
Advisor
강명주
Major
자연과학대학 수리과학부
Issue Date
2019-02
Publisher
서울대학교 대학원
Description
학위논문 (석사)-- 서울대학교 대학원 : 자연과학대학 수리과학부, 2019. 2. 강명주.
Abstract
We present a statistical insight into the stability of stochastic gradient methods.
By considering the algorithm as a stochastic process, we figure out the
bound of the uniform stability of stochastic gradient descent depending on
optimization steps. We also get the bound of the uniform stability of Nesterov
momentum stochastic gradient descent. We show how parameter distance behaves
by experiment, and conclude that our analysis fits well on many different
datasets.
우리는 확률 경사 하강법의 안정성에 대한 통계적 시야를 제시한다. 알고리
즘을 확률 과정으로 여김으로써, 우리는 최적화 과정에 따른 확률 경사 하강법
의 균등 안정성의 경계를 알아낸다. 또한 우리는 네스테로브 운동량 확률 경사
하강법의 균등 안정성의 경계를 구한다. 우리는 실험에 의해 변수 거리가 어떻
게 변화하는 지 보이고, 우리의 분석이 많은 다른 데이터셋에 잘 적용된다고
결론짓는다.
Language
eng
URI
http://hdl.handle.net/10371/151593
Files in This Item:
Appears in Collections:
College of Natural Sciences (자연과학대학)Dept. of Mathematical Sciences (수리과학부)Theses (Ph.D. / Sc.D._수리과학부)
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse