심층 신경망 압축을 위한 중복뉴런 제거 기법

Abstract

최근의 심층 신경망은 제한적인 하드웨어 자원에 비해 방대한 메모리와 높은 대역폭을 필요로 한다. 이에 따라 신경망 압축에 대한 다양한 연구가 진행되고 있다. 본 논문에서는 중복 뉴런 제거를 통한 새로운 신경망 압축 기술을 제안한다. 핵심 아이디어는 학습된 신경망에서 유사한 값으로 활성화되는 뉴런들을 하나의 뉴런으로 대체하는 것으로, 크게 네 과정으로 구성된다. 첫 번째로 기존 신경망을 학습하고, 다음으로 학습된 신경망에서 유사한 뉴런을 추출한다. 세 번째 과정은 제안된 regularization 항을 손실 함수에 삽입하여 추출된 유사 뉴런 쌍들이 거의 같은 활성화 값을 갖도록 재학습하는 것이다. 마지막으로 추출된 유사 뉴런 쌍들을 하나의 뉴런으로 대체한다. 본 연구는 다른 압축 방법론이 적용된([3]) 신경망 Lenet-300-100, Lenet-5에 대해 정확도 손실 없이 추가적인 압축률을 달성하였다.