A Design of Neural Network Processing Element Array with Mixed-Signal Operations

Abstract

본 학위 논문은 혼합 신호 연산을 활용하여 심층신경망 연산기 하드웨어의 정확도 하락과 에너지 소모 증가를 완화하는 방법을 제시한다. 제안하는 하드웨어 구조는 16×16 혼합 신호 연산 유닛 어레이를 포함하며, 심층신경망 정확도에 큰 영향을 주는 입력의 앞 네 자리를 디지털 연산으로 구현하고 자주 발생해 에너지 소모가 큰 뒤 다섯 자리를 아날로그 연산으로 구현하여 입력 자릿수에 따라 불필요하게 소모하는 에너지를 줄이며 높은 심층신경망 정확도를 유지할 수 있다. 제안하는 혼합 신호 연산 유닛은 가중치의 비트를 직렬로 연산하여 다양한 가중치 자릿수 연산을 지원한다. 또, 출력의 자릿수를 고정하고 가중치 자릿수 별로 2비트씩만 아날로그-디지털 변환을 수행하여 가중치 자릿수와 관계없이 동일한 변환 수를 유지할 수 있는 주기 연산 방식도 제안하였다. 제안한 하드웨어의 유효성은 28nm CMOS 공정으로 제작한 프로토타입 IC과 Xilinx Kintex-7 FPGA KC705 보드를 포함하는 측정 환경에서 얻은 측정 결과를 통해 검증되었으며, IC의 설계 과정은 세 가지 시뮬레이터를 조합하여 예제 단위의 수많은 연산을 빠르고 정확하게 처리할 수 있는 검증 환경을 통해 검증되었다. 검증에는 4-layer MNIST CNN, 5-layer CIFAR-10 CNN, 7-layer CIFAR-100 CNN이 사용되었다. 별도로 제안된 경사하강법을 활용한 어레이 캘리브레이션 방식을 적용하여 프로토타입 IC 상에서의 예제 CNN의 정확도를 측정하였을 때, -0.42~0.33%p의 MNIST/CIFAR-10 예제의 작은 정확도 변화를 기록하였다. 각 심층신경망 레이어 별 에너지 소모는 모든 연산을 디지털로 수행한 등가 상황과 비교하였을 때 20.4~46.1%만큼 줄어들었음을 확인하였다.

This work presents a method to mitigate deep neural network (DNN) accuracy drop and energy consumption increase of DNN accelerator hardware by utilizing mixed-signal operations. The proposed accelerator includes an array of 16×16 mixed-signal processing elements (MPEs), which implements signed upper 4-bit of a signed 9-bit input that significantly influences a DNN accuracy with digital operations, and latter unsigned 5-bit that frequently appears with energy-efficient analog operations. The proposed MPE array supports weight precision from signed 1-bit to 9-bit in a bit-serial manner. In addition, this dissertation proposes a cyclic multiply-accumulate scheme that fixes an output precision and performs analog-to-digital conversion by only 2 bits for each cycle to maintain the number of analog-to-digital converted bits regardless of the weight precision. The efficacy of the proposed accelerator was verified by results obtained from the measurement environment, including a prototype IC fabricated with a 28nm CMOS process and a Xilinx Kintex-7 FPGA KC705 board. The simulations for IC design steps were performed in a verification environment that could quickly and accurately process numerous calculations in DNN examples by combining three-level simulators. A 4-layer MNIST CNN, a 5-layer CIFAR-10 CNN, and a 7-layer CIFAR-100 CNN were used for simulations and tests. The accuracy of the example CNNs on a prototype IC was measured by applying the MPE array calibration method using the gradient descent optimization technique, and tiny MNIST/CIFAR-10 CNN accuracy changes of -0.42~0.33%p was recorded. The energy consumption for each DNN layer decreased by 20.4-46.1% compared to the equivalent case with all digital computations.