다중 멤리스티브 시냅스 소자를 활용한 뉴로모픽 시스템의 온라인 학습 향상 방법 분석

Abstract

차세대 비휘발성 메모리 소자를 활용한 크로스 포인트 어레이(cross point array) 구조는 가중치 합(weighted sum)과 가중치 갱신(weight update) 등의 학습에 필요한 병렬 연산 기능을 온 칩 구현하기 위해 제안되어왔다. 그러나 아날로그 시냅스 소자가 가지는 비이상적인 특성들, 가중치 갱신과정의 비선형성 및 비대칭성, 컨덕턴스 단계의 제한적인 개수, 장치 편차 등이 잠재적으로 온라인 학습의 정확성을 저해시키고 있어 큰 문제로 대두되고 있다. 본 연구에서는 이러한 실제 소자가 가지는 비이상적인 특성들이 학습 정확도에 끼치는 영향을 살펴보고 다중 시냅스 구조를 활용한 훈련 최적화 알고리즘 적용과 선형 및 대칭 스케일링 전략(Linear and symmetric scaling strategy)을 제안하였다. 그리고 시냅스 소자의 병렬 연결형태를 갖는 다중 시냅스 구조의 사례 연구를 심층 분석하였다. 먼저 실제 소자의 아날로그 시냅스 특성의 측정 결과를 바탕으로 가상의 다중 시냅스 소자가 실제 시냅스 거동(realistic synaptic behavior)을 보이도록 교정하였다. 그 후 인공 신경망(Artificial Neural Network, ANN)기반의 다중 레이어 퍼셉트론 시뮬레이터(Multi-Layer Perceptron Simulator, MLP simulator)를 실험에 바탕이 되는 뉴럴 네트워크 구조로 하여 MNIST 손글씨 데이터를 통해 온라인 학습의 정확도를 평가하였다. 또한, 선행 연구에서 지적하지 못하였던 다중 시냅스 구조가 가지는 큰 장점인 비이상적인 특성을 완화 시키는 현상을 면밀히 분석하였으며 결과적으로 선형성 개선 및 컨덕턴스 상태의 개수를 증가함을 확인하였다. 이러한 결과를 바탕으로 전통적인 훈련 알고리즘인 확률적 경사 하강법(stochastic gradient decent, 이하 SGD)이 아닌 모멘텀(Momentum), RMSprop, Adam(Adaptive Estimation method)등의 다양한 훈련 최적화 기법(Training optimizer)을 사용하여 다중 시냅스 구조의 성능을 평가하였다. 그 결과 다중 시냅스 구조와 훈련 최적화 기법은 융합적으로 사용할 수 있으며, 특히 Adam 옵티마이저와 사용하였을 경우 비이상적인 특성으로 30%의 낮은 학습 정확도를 가지는 소자의 경우에 89%까지 높일 수 있었다. 그러나 다중 시냅스 구조는 전체 뉴로모픽 회로의 크기가 커지고 복잡해지는 문제점이 있었으며 훈련 최적화 기법 또한 하드웨어 구현 문제가 남아있었다. 이러한 문제점을 해결하기 위해 우리는 다중 시냅스 구조가 컨덕턴스 상태의 개수를 증가시키는 현상에 착안하여 선형성 및 비대칭성 스케일링 전략을 제안하였고 결과적으로 비이상적인 특성이 심한 소자의 온 칩 러닝의 검증 정확도를 30%에서 94%까지 높일 수 있었다.

The cross point array architecture with eNVM synaptic device has been proposed for on-chip implementation of weighted sum and weight update in the training process of deep learning algorithms. However, the non-ideal properties of the synaptic devices, such as the nonlinearity and symmetry in weight increase or decrease, limited number of conductance states and device variations, hinder the learning accuracy. To alleviate this is issue, the proposed strategies include 1) multi-synapses architecture to increase the number of conductance states, 2) training optimizer with smart algorithm for mitigating device variation, 3) linear and symmetry scaling to achieving linear weight update. Firstly, we have built a device behavioral model to capture nonlinear weight update behavior of multi-synapses based on experimental data of eNVM synaptic devices. And then, by using 2-layer Multi layer perceptron simulator, we performed online learning and offline classification with MNIST handwritten digits as the training and testing data-set. Furthermore, we pointed out the phenomena, such as increasing the number of conductance states, improving linearity and asymmetry during training process with multi-synapses architecture. Based on these results, various training optimizers including momentum, RMSprop and Adam combined with multi-synapses architecture were performed to additional verification. As a result, training optimizer and multi-synapses architecture can be integrated appropriately, especially highest learning accuracy(89%) which is much higher than the case(30%) single synapse with SGD was obtained by Adam optimizer with multi-synapses in the condition of nonlinear and asymmetric synaptic devices. Even so, multi-synapses architecture faced difficulties with complexity and large volume of neuromorphic circuits as the number of devices per synapse increases. Moreover, there has not been yet found the technique to implement training optimizer in hardware. To overcome these issues, we suggested linear and symmetric scaling with multi-synapses architecture. Consequently, highest learning accuracy(94%), which is near to the learning accuracy with software training, was obtained with the devices have bad linearity and symmetry.