Knowledge Transfer via Stochastic Drop and Skip Connection

Abstract

깊은 신경망은 여러 분야에서 뛰어난 성능을 보여왔습니다. 그러나, 깊은 신경망은 계산 및 메모리 집약적이므로 실제로 사용되기 위해서는 그 규모가 줄여질 필요가 있습니다. 신경망의 크기를 줄이면서도 그 성능을 유지하는 방안으로 지식 증류 기술이 많은 관심을 받았습니다. 이 기법의 기본 아이디어는 학생 신경망을 선생님 신경망의 도움을 받아 학습시키는 것입니다. 다양한 지식 추철 기법들이 제시되었고 그것들 중 하나가 다중 선생 신경망을 사용하는 것입니다. 그러나, 이것은 어느 정도 자원의 낭비를 유발하므로 많은 관심을 받지 못했습니다. 이 연구에서 우리는 확률적 블록과 스킵 연결을 활용하여 추가적인 자원 없이 한 개의 선생님 신경망으로부터 여러 개의 신경망을 생성하는 것을 제안합니다. 따라서, 생성된 신경망들은 다중 선생 신경망의 역할을 할 수 있고 추가적인 자원 없이 학생 신경망에 충분한 지식을 제공할 수 있습니다. 우리는 제안하는 접근법으로 학생 신경망이 cifar-100과 tiny-imagenet 데이타셋에 대하여 성능 향상이 있음을 확인하였습니다.

Deep neural networks have achieved state-of-the-art performance in various fields. However, DNNs might need to be scaled down to fit real-word applications since they are computationally and memory intensive. As a means to compress the network yet still maintain the performance of the network, knowledge distillation has brought a lot of attention. This technique is based on the idea to train a student network using the provided output of a teacher network. %In this work, we propose a new distillation framework to provide the diverse knowledge to the student network using only one single teacher network. Various distillation methods have been proposed and one of them is deploying multiple teacher networks. However, it causes to some extent waste of resources, so did not receive much attention. In the proposed approach, we generate multiple sub-networks from one single teacher network by exploiting stochastic block and skip connection. Thus, they can play the role of multiple teacher networks and provide sufficient knowledge to the student network without additional resources. We observe the improved performance of student networks with the proposed approach for CIFAR-100 and tiny-imagenet dataset.