Input Distribution Analysis for Learning Two Layer Neural Network

Abstract

최근 몇년간 딥러닝은 여러 분야에서 최고의 성능을 보여줬다. 그러한 경험적인 성공에도 불구하고 확률적 경사하강법이 왜 최적화 문제에서 높은 성능을 보여주는지에 대해 이론적인 설명이 아직 충분하지 않다. 이 논문에서는 확률적 경사하강법이 각 파라미터들을 학습과정에서 수렴시키는 과정에 대하여 분석하였다. 이 논문에서 사용된 딥러닝 모델은 ReLU 함수를 사용한 2층 신경망이다. 특히 입력 분포의 smoothness 개념을 사용하여 특정 분포가 아닌 일반적인 입력분포에 대해 적용 가능한 분석을 이끌어낼 수 있었다.

In recent years, Deep neural networks have achieved state-of-the-art performance in many tasks. Despite those empirical successes, it remains hard to explain why stochastic gradient descent can solve the highly non-convex optimization problem. In this paper, we analyze the convergence of stochastic gradient descent for weights in learning process. The model we used is two layer neural network with ReLU activation function. In particular, our theory used the notion of the smoothness of the input distribution so that we dont need any specific input distribution.