상변화 물질의 고유 노이즈를 확률성 시냅스로 활용한 패턴인식

Abstract

기존의 폰 노이만 구조에서 벗어나 인간 두뇌의 신경구조와 기능을 모사한 뉴로모픽 컴퓨팅 연구에서는 셀의 작은 크기와 여러 단계의 시냅스 가중치를 표현하기 위해 시냅스 소자로서 아날로그 비휘발성 메모리 소자가 제안되어왔다. 하지만 아날로그 시냅스 소자는 물질 고유의 노이즈 특성이 있어 연산 과정의 큰 문제로 여겨져 왔다. 본 연구에서는 제한된 볼츠만 머신(restricted Boltzmann machine, RBM)과 같은 뉴로모픽 컴퓨팅 구조가 확률적인 요인을 필요로 한다는 점을 파악하고 더 나아가 아날로그 시냅스 소자의 노이즈 특성을 확률적 요인으로 이용하는 연구를 진행했다. 먼저 상변화 메모리(phase change memory, PCM)의 시냅스 어레이로 이루어진 spike neural network-restricted Boltzmann machine (SNN-RBM) 시스템의 시뮬레이터를 이용하여 정규분포 의 multiplicative noise를 가지는 모델로 설계하고 MNIST 온 칩 학습을 통해 연산 가능성을 확인했다. 또한, 노이즈의 표준편차를 다르게 설정하여 학습한 결과, 가 0.01과 0.05 사이에서 최적의 노이즈 분포임을 알아냈다. 바이어스 뉴런의 스파이크 빈도를 증가하는 방법으로 최적화 작업을 하여 노이즈 모델의 MNIST 학습 정확도를 79.7%로 높였다. 이와 더불어 실제 PCM 셀 크기에 따른 노이즈 측정 결과를 분석하여 0.01과 0.05 사이의 값이 하드웨어적으로 구현 가능한 노이즈 분포임을 확인했다. 본 연구의 노이즈 모델이 SNN-RBM 시스템을 이용한 기존 선행연구인 랜덤워크 모델과 비슷한 성능을 보이는 것은 물론 추가적인 회로의 요구가 없다는 점에서 더 에너지적으로 효율적임을 밝혀냈다. 마지막으로 노이즈 모델의 확률성 여부를 알아보기 위한 numerical 시뮬레이션을 진행하여 뉴런의 발화 확률이 sigmoid 형태의 함수를 가지고 있음을 확인했다. 이를 통해 PCM의 고유 노이즈와 같은 아날로그 소자의 노이즈 특성이 뉴로모픽 컴퓨팅 시스템에 저해하는 요소가 아닌 효율적인 연산을 가능하게 하는 장점이 될 수 있음을 보여줬다.

In neuromorphic computing research that mimics the neural network and function of the human brain, breaking away from the existing Von-Neumann structure, analog non-volatile memory devices have been proposed as synaptic devices to implement the size of small cells and express the weights of various levels. However, analog synaptic devices have been considered a big problem in the calculation process due to the intrinsic noise characteristics of materials. In this study, we exploited noise property of analog synaptic devices as stochasticity in that neuromorphic computing structures such as restricted Boltzmann machine require stochastic factors. First, we designed a model with multiplicative noise of normal distribution using the simulator of the spike neural network-restricted Boltzmann machine (SNN-RBM) system consisting of phase change material (PCM) synaptic arrays, and confirmed computational feasibility through MNIST on-chip learning test. Also, we found the optimal noise distribution, which was between 0.01 and 0.05, and improved the MNIST learning accuracy of the noise model to 79.7% by optimization. And then, by analyzing the noise measurement results depending on the actual PCM cell size, it was confirmed that a value between 0.01 and 0.05 is a noise distribution that can be implemented in hardware. The noise model in this study shows comparable performance to the random walk model using the SNN-RBM system, which is the previous study, and is more energy-efficient in that it does not require an additional circuit. Finally, we performed numerical simulations to investigate the stochasticity of the noise model and confirmed that the average firing rate of neurons has a sigmoid function. As a result, it was shown that the noise property of analog devices, such as the intrinsic noise of PCM, can be advantage rather than a detrimental factor to the neuromorphic computing system.