Global Optimality in Deep Neural Networks with Regularization

Abstract

In recent years, Deep Neural Networks(DNNs) have shown a dramatic success in many domains. However, the theoretical reasons for explaining the performance remain elusive. One of the most important key issue is the error optimization problem. In general, minimizing the loss function of the DNNs is a non-convex problem, hence the optimization algorithms may fail to find the global minimum. In this paper, we introduce several conditions for a local minimum to be globally optimal. In particular, we provide the conditions in DNNs with regularization and suggest the efficient network structure and regularization function. We also apply the theoretical results to the practical DNNs.

최근 깊은 신경망이 여러 분야에서 매우 좋은 성능을 내고 있지만 깊은 신경망의 성능에 대한 이론적인 설명은 부족하다. 깊은 신경망의 손실함수를 최적화하는 것은 매우 중요한 문제이다. 일반적으로 손실함수가 가중매개변수에 대해 볼록하지 않기 때문에, 최적화 알고리즘의 전체적 최적성을 보장할 수 없다. 이 논문에서 우리는 깊은 신경망에서 손실함수의 극소점이 전체적으로 최적이 되는 조건을 알아본다. 추가적으로 우리는 정칙화가 포함된 깊은 신경망에서의 전체적 최적성에 대해 알아보고, 최적화 문제를 고려해 효과적인 신경망의 구조를 제시한다. 또한, 우리의 이론을 실험을 통해 확인한다.