Publications

Detailed Information

Global Optimality in Deep Neural Networks with Regularization : 정칙화를 포함한 깊은 신경망에서의 전체적 최적성

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors

고영진

Advisor
강명주
Major
자연과학대학 수리과학부
Issue Date
2019-02
Publisher
서울대학교 대학원
Description
학위논문 (석사)-- 서울대학교 대학원 : 자연과학대학 수리과학부, 2019. 2. 강명주.
Abstract
In recent years, Deep Neural Networks(DNNs) have shown a dramatic success in many domains. However, the theoretical reasons for explaining the performance remain elusive. One of the most important key issue is the error optimization problem. In general, minimizing the loss function of the DNNs is a non-convex problem, hence the optimization algorithms may fail to find the global minimum. In this paper, we introduce several conditions for a local minimum to be globally optimal. In particular, we provide the conditions in DNNs with regularization and suggest the efficient network structure and regularization function. We also apply the theoretical results to the practical DNNs.
최근 깊은 신경망이 여러 분야에서 매우 좋은 성능을 내고 있지만 깊은 신경망의 성능에 대한 이론적인 설명은 부족하다. 깊은 신경망의 손실함수를 최적화하는 것은 매우 중요한 문제이다. 일반적으로 손실함수가 가중매개변수에 대해 볼록하지 않기 때문에, 최적화 알고리즘의 전체적 최적성을 보장할 수 없다. 이 논문에서 우리는 깊은 신경망에서 손실함수의 극소점이 전체적으로 최적이 되는 조건을 알아본다. 추가적으로 우리는 정칙화가 포함된 깊은 신경망에서의 전체적 최적성에 대해 알아보고, 최적화 문제를 고려해 효과적인 신경망의 구조를 제시한다. 또한, 우리의 이론을 실험을 통해 확인한다.
Language
eng
URI
https://hdl.handle.net/10371/151586
Files in This Item:
Appears in Collections:

Altmetrics

Item View & Download Count

  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Share