단순한 입력에 최적화된 분기 네트워크 학습 기법

Abstract

심층 신경망 구조를 설계함에 있어 더 높은 정확도를 얻기 위해 보다 많은 레이어를 사용하게 되었다. 레이어의 수를 늘리면 복잡한 입력에 대해 그 결과를 더 정확하게 얻을 수 있다. 그러나 단순한 입력은 깊은 심층 신경망 구조를 사용하지 않더라도 충분히 높은 정확도를 얻을 수 있다 이전 연구에서는 입력이 단순하여 적은 수의 레이어를 통해서 확인한 결과가 충분히 정확하다면 심층 신경망 구조 전체를 통과하지 않고 일부 레이어만 통과하여 결과를 얻게 하는 분기 네트워크를 제안하였다.

분기 네트워크는 레이어로 이루어져 있기 때문에 분기 네트워크를 사용하기 위해서는 학습이 필요하다. 이전 연구에서는 이미 학습된 기반 심층 신경망 구조에 분기 네트워크를 삽입하여 분기 네트워크에 의해 추가된 레이어들만을 학습시켰다. 본 논문에서는 분기 네트워크를 우선적으로 학습시키는 새로운 분기 네트워크 학습 알고리즘을 제안하였다. 새로운 학습 알고리즘은 분기 네트워크를 먼저 학습시키기 때문에 분기 네트워크를 통해 분류되는 단순한 입력들의 정확도를 높인다. 기존 분기 네트워크 학습 알고리즘과 비교하였을 때, MNIST 데이터셋의 LeNet의 경우 단순한 입력이 9200개 이상일 때, CIFAR-10 데이터셋의 심층 신경망 구조의 경우 단순한 입력이 7500개 이상일 때부터 정확도가 높아지는 것을 확인할 수 있었다.

When designing deep neural network, more layers are used to improve accuracy. Increasing the number of layers gives more accurate result for complex input. However, simple input can achieve high accuracy with a small number of layers. Previous studies suggest a branch network which makes to get result early, when the input is simple enough to pass through a small number of layers for obtaining result.

Because the branch network contains layers, learning is required to use the branch network. Previous studies insert the branch network into the pre-trained neural network, so weights in the layers added by the branch network are changed while training. In this paper, we propose a new branch network training algorithm which trains branch network first. The new training algorithm increases the accuracy of simple inputs classified by the branch network. New training algorithm can obtain higher accuracy when simple inputs are more than 9200 in the case of MNIST, more than 7500 in the case of CIFAR-10.