Browse

Input Distribution Analysis for Learning Two Layer Neural Network : 2층 신경망의 학습을 위한 입력 분포 분석

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors
박정명
Advisor
강명주
Major
자연과학대학 수리과학부
Issue Date
2019-02
Publisher
서울대학교 대학원
Description
학위논문 (석사)-- 서울대학교 대학원 : 자연과학대학 수리과학부, 2019. 2. 강명주.
Abstract
최근 몇년간 딥러닝은 여러 분야에서 최고의 성능을 보여줬다. 그러한 경험적인 성공에도 불구하고 확률적 경사하강법이 왜 최적화 문제에서 높은 성능을 보여주는지에 대해 이론적인 설명이 아직 충분하지 않다. 이 논문에서는 확률적 경사하강법이 각 파라미터들을 학습과정에서 수렴시키는 과정에 대하여 분석하였다. 이 논문에서 사용된 딥러닝 모델은 ReLU 함수를 사용한 2층 신경망이다. 특히 입력 분포의 smoothness 개념을 사용하여 특정 분포가 아닌 일반적인 입력분포에 대해 적용 가능한 분석을 이끌어낼 수 있었다.
In recent years, Deep neural networks have achieved state-of-the-art performance in many tasks. Despite those empirical successes, it remains hard to explain why stochastic gradient descent can solve the highly non-convex optimization problem. In this paper, we analyze the convergence of stochastic gradient descent for weights in learning process. The model we used is two layer neural network with ReLU activation function. In particular, our theory used the notion of the smoothness of the input distribution so that we dont need any specific input distribution.
Language
eng
URI
https://hdl.handle.net/10371/151588
Files in This Item:
Appears in Collections:
College of Natural Sciences (자연과학대학)Dept. of Mathematical Sciences (수리과학부)Theses (Ph.D. / Sc.D._수리과학부)
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse