확률 심층 신경망에서 연산자 정밀도에 대한 연구

Abstract

심층 신경망은 인간 시각 신경망의 구조에 착안하여 그 구조가 제안된 것으로써, 간단한 구성의 유닛들이 많은 수가 존재하고 각각의 유닛들 사이에 연결이 있는 구조이다. 이 심층 신경망은 인식, 마이닝, 그리고 합성 어플리케이션 등과 같은 여러 가지 이머징 어플리케이션에서 매우 유용하게 사용될 수 있기에, 그에 대한 관심이 매우 빠르게 늘어나고 있다. 최근에는 시각 인식이나 청각 인식에서 심층 신경망의 정확도가 인간의 인식률보다 더 높은 성능을 보이고 있어 그 가능성이 더욱 주목된다. 이와 같은 심층 신경망의 응용은 근래 들어 모바일 환경에서 필요성이 특히 급증하고 있는데, 이는 사진이나 동영상에서의 얼굴 인식 기능이나 음성 검색 혹은 음악 검색에서의 소리 인식 기능 등에 활용이 이루어지고 있기 때문이다. 하지만 그에 대한 대부분의 구현은 심층 신경망의 에너지 소비, 면적, 그리고 지연 시간 등에 따른 한계에 의해 클라이언트에서 독립적으로 실행되지 못하고 온라인에 있는 서버에 해당 자료를 보낸 뒤 계산된 결과를 받아서 이용하는 방식이 주를 이루고 있다. 그런데 확률 연산 방식은 그 특성 상 전체 신경망의 에너지 소비, 면적, 그리고 지연 시간을 줄일 수 있는 가능성을 가지고 있는 것으로 판단되기 때문에, 기존 심층 신경망을 확률 연산 방식으로 전환하기 위한 많은 연구들이 이뤄지고 있다. 이러한 확률 연산 방식의 적용에서 가장 큰 장애물은 정밀도의 감소에 있다. 확률 연산자는 기본적으로 [-1, 1]의 한정된 값을 표현할 수 밖에 없기에 기존 변동 소수점 방식에 비해서 표현할 수 있는 범위가 매우 제한되기 때문이다. 본 논문에서는 이와 같이 확률 연산 방식의 장애물을 고려하여, 확률 심층 신경망에서 각 확률 연산자들의 정밀도 수준을 변화시켜가며 전체 신경망에서의 효과를 분석하였다. 이 분석을 통하여 전체 신경망의 비용을 최소화하면서 정확도를 최대화할 수 있는 방향을 찾을 수 있었다.