Hybrid Training Method for Neuromorphic Hardware Based on Analog AND-Flash Arrays

Abstract

Neuromorphic computing systems using nonvolatile memory cells advance computational capability by performing large-scale vector-matrix multiplication operations in an analog manner. In addition, neuromorphic computing systems can reduce the inference time and energy consumption of neural network operations, thereby attracting much attention in various fields. Despite the advantages of neuromorphic systems, the conventional training methods show lower accuracy because of the nonideal characteristics of analog synaptic devices. In this work, we propose a new hybrid training method that trains the neuromorphic hardware very efficiently and accurately. The proposed training method does not use conductance tuning processes to accurately update the weight changes to the conductance of synaptic devices, significantly reducing the costs of online training in the hardware. We then experimentally show the high accuracy of the proposed method on the fabricated neuromorphic hardware: AND-type charge-trapping flash array. The AND-type flash array boosts a large-scale vector-matrix multiplication operation using Kirchhoffs current law. Furthermore, the fabricated array has a nonvolatile memory function with a charge trapping layer (SiO2/Si3N4/SiO2), maintaining the multi-bit weight in a single synaptic device semi-permanently. We show that the accuracy of neuromorphic systems increases to that of the software-based neural network after 1-epoch hybrid training in the fabricated synaptic array. Moreover, the high performance of the proposed method was experimentally verified under various device nonideality conditions, indicating the proposed method can be generally applied to other types of synaptic devices. Our results show that neuromorphic systems using analog nonvolatile memory cells become a more promising platform for future artificial intelligence hardware.

아날로그 비휘발성 메모리 셀을 시냅스 장치로 사용하는 뉴로모픽 기술은 대규모 벡터 행렬 곱셈 연산을 수행하기 위해 시간과 에너지 소비를 줄일 수 있어, 폰 노이만 구조의 컴퓨팅 아키텍처를 대체할 수 있는 기술로서 매우 유망하다. 그러나 뉴로모픽 하드웨어에 관한 보고된 학습 방법은 아날로그 장치의 비이상적인 특성으로 인해 정확도가 현저히 낮고, 비용이 상당히 높은 전도도 조정 프로세스가 필요하다. 따라서 이 논문은 비휘발성 아날로그 메모리 셀을 활용하여 뉴로모픽 하드웨어를 효율적으로 훈련시키는 새로운 하이브리드 훈련 방법을 제안하고, 구현된 하드웨어에 실험적으로 시연하여 제안하는 방법의 고성능을 보여준다. 제안하는 훈련 방법은 아날로그 시냅스 장치 전도도에 가중치의 변화를 반영하기 위한 전도도 조정 프로토콜에 의존하지 않아 온라인 훈련의 비용이 상당히 줄어든다. 또한 이 논문에서는 대규모 벡터 행렬 곱셈 연산을 가속화하는 뉴로모픽 하드웨어로 AND형 플래시 메모리 어레이를 구현한다. 제작된 뉴로모픽 하드웨어는 전하 포획층(SiO2/Si3N4/SiO2)과 함께 비휘발성 메모리 기능을 가지고 있어 반영구적으로 가중치를 유지한다. 그런 다음 제안된 훈련 방법을 제작한 시냅스 어레이에 적용하여, 첫 번째 시냅스 층에 1-epoch 학습으로도 소프트웨어 기반 신경망의 정확도에 근접함을 보여준다. 또한 제안하는 하이브리드 훈련 방법은 가중치 업데이트 특성이 극도로 비선형적인 다양한 유형의 시냅스 장치를 포함한 저전력 뉴로모픽 하드웨어에 효율적으로 적용될 수 있는 것을 검증한다. 제작된 하드웨어에서 제안된 방법의 성공적인 시연은 비휘발성 아날로그 메모리 셀을 사용하는 뉴로모픽 하드웨어가 미래 인공 지능을 위한 보다 유망한 플랫폼이 될 수 있음을 보여준다.