Optimization In Neural Networks using Projection Pursuit Model

Abstract

지도학습에서 가장 주된 목표는 주어진 인공신경망모형의 비용함수를 최적화하는 것이다. 하지만, 많은 경우에 있어서 인공신경망모형의 비용함수는 그 고차원적인 특성과 비선형성으로 인해 원하는 전역최적값을 찾기 쉽지 않다. 이러한 최적화문제 에 있어서 다양한 종류의 경사하강법 기반 알고리즘들이 사용되곤하지만, 일반적인 경사하강법 기반 알고리즘들로는 신뢰성있는 해를 얻기 어려운데, 이는 이러한 알 고리즘들이 특정문제에 주어진 비용함수의 구조에 관한 정보를 전혀 이용하지 않기 때문이다. 본 논문에서는 이러한 문제점을 인지하여 경사하강법과 달리 주어진 비 용함수의 함수적 구조에 관한 정보를 가능한 충분히 이용할 수 있는 새로운 최적화 전략을 제시하고자 한다. 이를위해 우선 사영추적회귀 알고리즘을 이용한 다층퍼셉트론 최적화 전략을 먼저 제시하고, 이 방법을 확장하여 일반적인 심화신경망의 최적화문제에 까지 적용할 수 있는 일반화된 사영추적회귀 기반의 최적화전략을 최종적으로 제시하고자 한다.

In supervised learning, the primary goal is to optimize the cost function of the given Neural Network model. Unfortunately, it is never easy to locate the desired global optimum due to high dimensionality and nonlinearity of the cost function. In practice, variants of gradient method algorithm are used for optimization. However, conventional Gradient Descent-based algorithm can never give a reliable solution as they do not use any information on the structure of the given specific cost function. In this paper, we present a new optimization framework that fully exploits information on the functional structure of the given cost function. We first present optimization strategy for Multi-Layer Perceptron based on Projection Pursuit Regression algorithm. The strategy is extended to layer-wise feed-forward Projection Pursuit Regression algorithm, which is the generalized optimization framework that can be used to optimize general Deep Neural Network in a feed-forward manner.