Browse

Layer-wise Progressive Knowledge Distillation
지식 증류를위한 다단계 교사

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors
Mohammad Amin Shabani
Advisor
Lee, Kyoung Mu
Issue Date
2019-08
Publisher
서울대학교 대학원
Keywords
Knowledge DistillationTransfer LearningImage Classification
Description
학위논문(석사)--서울대학교 대학원 :공과대학 전기·컴퓨터공학부,2019. 8. Lee, Kyoung Mu.
Abstract
지식 증류 (Knowledge Distillation, KD)는 교사로부터 학생 모델로 지식을 전 달하는 잘 알려진 방법입니다. 본 논문에서는 계층 적 진보적 교사 (Layer-wise Pro- gressive Teacher)를 도입하여 지식 증류를위한 새로운 틀을 제안하고자한다. 이와 관련하여 우리는 교사의 중간 계층에서 확률을 구함으로써 서로 다른 경도 수준에 서 부드러운 목표를 만드는 방법을 제안합니다. 우리의 방법은 교사와 학생 사이에 큰 차이가있어 학생이 교사를 모방하는 것을 더 어렵게하는 경우를 위해 특별히 고 안되었습니다. 우리는 또한 학생의 온도를 제거하고 교사의 온도를 유지하는 것이 좋습니다. 실험 결과는 기존의 증류법과 비교할 때 우리의 방법이 훨씬 더 우수한 결과를 얻음을 보여줍니다.
Knowledge Distillation (KD) is a well-known method for transferring knowledge from a teacher to a student model. In this thesis, we propose a new framework for Knowledge Distillation by introducing a Layer-wise Progressive Teacher. In this regard, we propose a method to create soft targets in different levels of complexity by obtaining the probabilities from the intermediate layers of the teacher network. Our method is specially designed for the cases that there is a large gap between the teacher and the student which makes it harder for the student to mimic the teacher. In addition, we proposed focalized teacher as a method to train a better teacher for the student. The experimental results show that our method gets significantly better results in comparison with existing knowledge distillation methods.
Language
eng
URI
https://hdl.handle.net/10371/161065

http://dcollection.snu.ac.kr/common/orgView/000000157560
Files in This Item:
Appears in Collections:
College of Engineering/Engineering Practice School (공과대학/대학원)Dept. of Electrical and Computer Engineering (전기·정보공학부)Theses (Master's Degree_전기·정보공학부)
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse