Hardware-based Neural Networks using gated Schottky diodes

Abstract

신경망 기술을 기반으로 한 AI (인공 지능)는 인간의 인지 능력을 능가하는 모습을 보여줄 수 있기 때문에 다양한 산업 분야에서 널리 연구되고 있다. 그러나, 기존의 컴퓨팅 아키텍처인 폰 노이만 (von Neumann) 아키텍처의 메모리와 컴퓨팅 유닛 사이의 병목 문제 및 매우 큰 전력 소모 문제 때문에, 뉴로모픽 컴퓨팅의 필요성이 대두되고 있다. 특히, 시냅스로 동작하는 전자 시냅스 소자는 저전력 및 고속으로 벡터 행렬 곱셈 (VMM)을 수행 할 수 있기 때문에 전력 소비의 상당 부분을 줄일 수 있다. 이 논문에서는 시냅스 소자로서 게이티드 쇼트키 다이오드 (GSD)를 제안한다. 역 쇼트키 다이오드로 동작하므로 시냅스 전류가 낮고, 입력 전압에 대해 포화 상태로 동작한다. 또한, 시냅스 소자에 적용하는 펄스 수에 대한 컨덕턴스 변화가 선형적인 특성을 보여준다. 이러한 특성들을 고려하여 전류 합산, 펄스 폭 변조 및 활성화 기능을 수행하는 뉴런 회로를 설계한다. 설계한 뉴런 회로를 검증하기 위해 SPICE 시뮬레이션을 통해 2 계층 신경망의 추론 정확도를 평가한다. 검증 결과로서 MNIST 테스트 세트의 100 개 이미지의 분류 정확도는 94%이며, 이는 소프트웨어를 통해 얻은 기준 정확도와 비슷하다. 또한, 우리는 전자 시냅스 소자를 기반으로 하는 신경망의 온칩 학습 방법을 제안한다. 시냅스 소자의 비이상성 때문에, 맨해튼 업데이트 규칙을 기반으로 하는 가중치 갱신 방법을 제안하고, 시냅스 장치의 다양한 비이상성에 대해 온칩 학습 방법을 평가한다. 시냅스 디바이스가 선형 컨덕턴스 응답과 높은 동적 범위를 가지면 소프트웨어로 얻은 기준 정확도와 비슷한 정확도를 얻을 수 있다. 오프칩 트레이닝 체계는 디바이스 변형에 취약한 반면, 앞서 설명한 온칩 트레이닝 방법은 이러한 변동 효과를 완화 할 수 있기 때문에 하드웨어 기반의 신경망 시스템에 필수적이라고 할 수 있다. 더 나아가, 신경망 시스템을 구현하기 위해 GSD를 기반으로 시냅스 장치 어레이를 제작한다. 시냅스 소자의 포화된 전류 특성으로 인해, 금속 와이어에서의 전압 강하 문제없이 VMM 연산을 잘 수행한다. 또한, 제작된 시냅스 소자 어레이는 세 가지 시냅스 가중치 상태에 대해 0.34, 0.22 및 0.14의 변화를 보여준다. 우리가 제안한 게이티드 쇼트키 다이오드, 이와 호환 가능한 뉴런 회로 및 온칩 학습 방법은 하드웨어 기반 신경망을 구현하는 데 도움이 될 것이다.

Artificial intelligence (AI) based on neural network technology has been widely studied in various industrial fields because it can outperform human cognitive ability. However, since the von Neumann architecture, which is a conventional computing architecture, has a bottleneck problem between memory and computing unit and a very large power consumption, the necessity of neuromorphic computing is emerging. Especially, electronic devices operating as synapses can reduce a large portion of power consumption because they can perform low-power and high-speed vector-by-matrix multiplication (VMM). In this paper, we introduce the gated Schottky diode (GSD) as a synapse device. It operates as a reverse Schottky diode, so the synaptic current is low and saturates to the input voltage. In addition, the conductance response with respect to the number of pulses applied to the synapse device is linear. By considering these characteristics, we design neuron circuits that perform current summation, pulse-width modulation, and activation function. Through SPICE simulation, we evaluate the inference accuracy of a 2-layer neural network. The classification accuracy rate of 100 images of MNIST test sets is 94%, and it is comparable to the reference accuracy obtained with software. Furthermore, we investigate the on-chip learning rule of the neural network based on the electronic synapse device. Because of the non-idealities of synapse devices, we propose a weight-updating method based on the Manhattan update rule and evaluate the learning accuracy with respect to the various non-idealities of synapse devices. When the synapse device has linear conductance response and high dynamic range, the learning accuracy can be comparable to the reference accuracy obtained with software. While off-chip training scheme is vulnerable to device variations, the on-chip training rule can mitigate this variation effect. To implement a neural network system, we fabricate a synapse device array based on GSDs. With the help of the saturation characteristics, the VMM computation is well performed without IR drop problem in metal wires. The fabricated synapse device array shows a variation (/) of 0.34, 0.22, and 0.14 for three different synaptic weight states. The gated Schottky diode operating as synapse device, its compatible circuits, and on-chip learning rule that we have proposed can help to implement a hardware-based neural network.