Layer-wise Progressive Knowledge Distillation

Abstract

지식 증류 (Knowledge Distillation, KD)는 교사로부터 학생 모델로 지식을 전 달하는 잘 알려진 방법입니다. 본 논문에서는 계층 적 진보적 교사 (Layer-wise Pro- gressive Teacher)를 도입하여 지식 증류를위한 새로운 틀을 제안하고자한다. 이와 관련하여 우리는 교사의 중간 계층에서 확률을 구함으로써 서로 다른 경도 수준에 서 부드러운 목표를 만드는 방법을 제안합니다. 우리의 방법은 교사와 학생 사이에 큰 차이가있어 학생이 교사를 모방하는 것을 더 어렵게하는 경우를 위해 특별히 고 안되었습니다. 우리는 또한 학생의 온도를 제거하고 교사의 온도를 유지하는 것이 좋습니다. 실험 결과는 기존의 증류법과 비교할 때 우리의 방법이 훨씬 더 우수한 결과를 얻음을 보여줍니다.

Knowledge Distillation (KD) is a well-known method for transferring knowledge from a teacher to a student model. In this thesis, we propose a new framework for Knowledge Distillation by introducing a Layer-wise Progressive Teacher. In this regard, we propose a method to create soft targets in different levels of complexity by obtaining the probabilities from the intermediate layers of the teacher network. Our method is specially designed for the cases that there is a large gap between the teacher and the student which makes it harder for the student to mimic the teacher. In addition, we proposed focalized teacher as a method to train a better teacher for the student. The experimental results show that our method gets significantly better results in comparison with existing knowledge distillation methods.