Efficient Methods for Integer only Quantization

Abstract

Transformer is the most popular Neural Network Architecture currently achieving state-of-art in various fields. Therefore, many people have tried to quantize this model so that inference can be made only with integer arithmetic (Integer-only Quantization) so that it can operate on edge devices. However, there were constraints for the general hardware and efficient calculation of non-linear functions, so the quantization method did not change significantly. Therefore, we studied new methods that can be used in Integer-only Quantization to overcome the limitations of existing methods.

Transformer는 다양한 분야에서 최고 성능을 달성한 현재 가장 유명한 인공 신경망 구조이다. 따라서 많은 사람들이 이 모델의 추론이 정수 연산으로만 이루어질 수 있도록 양자화(Integer-only Quantization)를 적용하여 엣지 장치에서도 동작할 수 있도록 하고자 하였다. 하지만, 일반적인 하드웨어의 연산 특징과 비선형 함수의 효율적인 계산을 위해 제약조건이 존재하였고, 때문에 양자화 방법은 크게 달라지지 않았다. 따라서 우리는 Integer-only Quantization에서 사용할 수 있는 새로운 방법들을 연구하여, 기존의 방법들의 한계를 넘을 수 있도록 하였다.