Neural Tangent Kernel Analysis of Deep Narrow Neural Networks

Abstract

The tremendous recent progress in analyzing the training dynamics of over parameterized neural networks has primarily focused on wide networks and therefore does not sufficiently address the role of depth in deep learning. In this work, we present the first trainability guarantee of infinitely deep but narrow neural networks. We study the infinite-depth limit of a multilayer perceptron (MLP) with a specific initialization and establish a trainability guarantee using the NTK theory. We then extend the analysis to an infinitely deep convolutional neural network (CNN) and perform brief experiments.

과매개화된 신경망의 훈련 역학을 분석하는 최근의 엄청난 발전은 주로 넓은 네트워크에 초점을 맞추었기 때문에 딥 러닝에서 깊이의 역할을 충분히 다루지 못 한다. 이 논문에서 우리는 무한히 깊지만 좁은 신경망의 훈련 가능성을 처음으로 보인다. 우리는 특정 초기화하에서 무한한 깊이의 다층 신경망을 연구하고 뉴럴 탄젠트커널 이론을 사용하여 학습 가능성울 보장한다. 그런 다음 분석을 무한히 깊은 합성곱 신경망으로 확장하고 간단한 실험을 수행한다.