Demonstration of Unsupervised Learning With Spike-Timing-Dependent Plasticity Using NOR-Type Nonvolatile Memory Arrays

Abstract

Conventional von Neumann computing architecture is at a disadvantage in terms of speed and power consumption in high-level cognitive applications. Therefore, a new architecture to overcome this problem, the neuromorphic system, is attracting attention as the next generation computing system.

In this dissertation, two types of NOR-type nonvolatile memory arrays are proposed for use as synaptic device array in the neuromorphic system. The SONOS gated-diode memory is proposed as the first candidate for the synaptic device. The learning process of MNIST digit patterns is presented by simulation. First, spike-timing-dependent plasticity (STDP) learning in single-neuron string (784 × 1) is demonstrated. Then, STDP learning in multi-neuron array (784 × 3) with lateral inhibition function is demonstrated. Meanwhile, the key factors of STDP unsupervised learning such as input noise density (ρnoise), synaptic weight margin (Wmargin), and lateral inhibition factor [%] are investigated for the proper learning.

Next, the TFT-type NOR flash memory synaptic device with a half-covered floating gate (FG) that overcomes the disadvantages of the SONOS gated-diode memory is proposed. The long-term potentiation (LTP) and long-term depression (LTD) required for STDP behavior are implemented using the proposed pulse scheme. Unsupervised online learning is successfully demonstrated with STDP learning rule through software simulation reflecting the LTP / LTD characteristics of the fabricated synaptic device. The learning and recognition process of 28 × 28 MNIST handwritten digit patterns are presented.

As a result, an approach is suggested to use hardware-based spiking neural network implemented by synaptic device array using conventional CMOS technology for visual pattern recognition system.

기존의 폰 노이만 컴퓨팅 구조는 높은 수준의 인지 응용분야에서 속도와 전력 소비 측면에서 불리한 구조를 지니고 있다. 따라서 이러한 문제를 해결하기 위해 새롭게 제안된 신경모방 컴퓨팅은 차세대 컴퓨팅 시스템으로 주목을 받고 있다.

본 논문에서는 두 가지 종류의 NOR-형 비휘발성 메모리 어레이를 신경모방 시스템의 시냅스 어레이로 사용하도록 제안한다. 전하 저장 층을 포함하는 게이트를 갖는 다이오드 메모리 어레이가 시냅스 모방 소자의 첫 번째 후보로 제안된다. 시뮬레이션을 통해 MNIST 손글씨 이미지 패턴의 학습 과정을 보여준다. 첫째로, 단일 뉴런 스트링 (784 × 1) 에서 스파이크 시점 의존 가소성 기반 학습이 시연된다. 그런 다음 측면 억제 기능을 사용하여 다중 뉴런 어레이 (784 × 3) 에서 스파이크 시점 의존 가소성에 기반한 학습을 시연한다. 한편, 적절한 학습을 위해 입력 잡음 밀도 (ρnoise), 시냅스 가중치 간극 (Wmargin), 측면 억제 계수 [%] 와 같은 스파이크 시점 의존 가소성 기반 비지도 학습의 주요 요인들에 대해 조사한다.

다음으로, 전하 저장 층을 포함하는 게이트를 갖는 다이오드 메모리의 단점들을 극복하는 활성 채널의 절반을 덮는 플로팅 게이트가 포함된 박막 트랜지스터형 NOR 플래시 메모리 시냅스 모방 소자를 제안한다. 제안된 펄스 구동 방식을 활용하여 스파이크 시점 의존 가소성 동작에 필요한 장기 강화 및 약화 기능이 구현된다. 공정 제작된 메모리 어레이의 장기 강화 / 약화 특성을 반영하는 소프트웨어 시뮬레이션을 통해 스파이크 시점 의존 가소성 학습 규칙을 이용한 비지도 실시간 학습이 성공적으로 시연된다. 28 × 28 MNIST 손글씨 숫자 패턴의 학습 및 인식 과정을 제시한다.

결과적으로, 기존 CMOS 기술을 사용하여 제작된 시냅스 모방 소자로 구성된 하드웨어 기반 신경망을 시각 패턴 인식 시스템으로 사용하는 방안이 제안되었다.