Publications
Detailed Information
Stochastic gradient descent from a statistical point of view : 통계적 관점에서 본 확률 경사 하강법
Cited 0 time in
Web of Science
Cited 0 time in Scopus
- Authors
- Advisor
- 강명주
- Major
- 자연과학대학 수리과학부
- Issue Date
- 2019-02
- Publisher
- 서울대학교 대학원
- Description
- 학위논문 (석사)-- 서울대학교 대학원 : 자연과학대학 수리과학부, 2019. 2. 강명주.
- Abstract
- We present a statistical insight into the stability of stochastic gradient methods.
By considering the algorithm as a stochastic process, we figure out the
bound of the uniform stability of stochastic gradient descent depending on
optimization steps. We also get the bound of the uniform stability of Nesterov
momentum stochastic gradient descent. We show how parameter distance behaves
by experiment, and conclude that our analysis fits well on many different
datasets.
우리는 확률 경사 하강법의 안정성에 대한 통계적 시야를 제시한다. 알고리
즘을 확률 과정으로 여김으로써, 우리는 최적화 과정에 따른 확률 경사 하강법
의 균등 안정성의 경계를 알아낸다. 또한 우리는 네스테로브 운동량 확률 경사
하강법의 균등 안정성의 경계를 구한다. 우리는 실험에 의해 변수 거리가 어떻
게 변화하는 지 보이고, 우리의 분석이 많은 다른 데이터셋에 잘 적용된다고
결론짓는다.
- Language
- eng
- Files in This Item:
- Appears in Collections:
Item View & Download Count
Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.