Synaptic Array Architectures Based on NAND Flash Cell Strings

Abstract

Neuromorphic computing using synaptic devices has been proposed to efficiently process vector-matrix multiplication (VMM) which is a significant task in DNN. Until now, resistive RAM (RRAM) was mainly used as synaptic devices for neuromorphic computing. However, a number of limitations still exist for RRAMs to implement a large-scale synaptic device array due to device nonideality such as variation, endurance and monolithic integration of RRAMs and CMOS peripheral circuits. Due to these problems, SRAM cells, which are mature silicon memory, have been proposed as synaptic devices. However, SRAM occupies large area (~150 F2 per bitcell) and on-chip SRAM capacity (~a few MB) is insufficient to accommodate a large number of parameters. In this dissertation, synaptic architectures based on NAND flash cell strings are proposed for off-chip learning and on-chip learning. A novel synaptic architecture based on NAND cell strings is proposed as a high-density synapse capable of XNOR operation for binary neural networks (BNNs) in off-chip learning. By changing the threshold voltage of NAND flash cells and input voltages in complementary fashion, the XNOR operation is successfully demonstrated. The large on/off current ratio (~7×105) of NAND flash cells can implement high-density and highly reliable BNNs without error correction codes. We propose a novel synaptic architecture based on a NAND flash memory for highly robust and high-density quantized neural networks (QNN) with 4-bit weight. Quantization training can minimize the degradation of the inference accuracy compared to post-training quantization. The proposed operation scheme can implement QNN with higher inference accuracy compared to BNN. On-chip learning can significantly reduce time and energy consumption during training, compensate the weight variation of synaptic devices, and can adapt to changing environment in real time. On-chip learning using the high-density advantage of NAND flash memory structure is of great significance. However, the conventional on-chip learning method used for RRAM array cannot be utilized when using NAND flash cells as synaptic devices because of the cell string structure of NAND flash memory. In this work, a novel synaptic array architecture enabling forward propagation (FP) and backward propagation (BP) in the NAND flash memory is proposed for on-chip learning. In the proposed synaptic architecture, positive synaptic weight and negative synaptic weight are separated in different array to enable weights to be transposed correctly. In addition, source-lines (SL) are separated, which is different from conventional NAND flash memory, to enable both the FP and BP in the NAND flash memory. By applying input and error input to bit-lines (BL) and string-select lines (SSL) in NAND cell array, respectively, accurate vector-matrix multiplication is successfully performed in both FP and BP eliminating the effect of pass cells. The proposed on-chip learning system is much more robust to weight variation compared to the off-chip learning system. Finally, superiority of the proposed on-chip learning architecture is verified by circuit simulation of a neural network.

DNN에서 중요한 작업인 벡터-매트릭스 곱셈 (VMM)을 효율적으로 처리하기 위해 시냅스 소자를 사용하는 뉴로모픽 컴퓨팅이 활발히 연구되고 있다. 지금까지 RRAM (Resistive RAM)이 주로 뉴로모픽 컴퓨팅의 시냅스 소자로 사용되었다. 그러나 RRAM은 소자의 산포가 크고 신뢰성이 좋지 않으며 CMOS 주변 회로와 통합이 어려운 문제로 인해 대규모 시냅스 소자 어레이를 구현하는 데는 여전히 많은 제한이 있다. 이러한 문제로 인해 성숙한 실리콘 메모리인 SRAM 셀이 시냅스 소자로 제안되고 있다. 그러나 SRAM은 셀 당 면적 (~150 F2 per bitcell)이 크고 또한 온칩 SRAM 용량 (~a few MB) 은 많은 파라미터를 수용하기에 충분하지 않다. 본 논문에서는 오프 칩 학습과 온 칩 학습을 위해 NAND 플래시 셀 스트링을 기반으로 하는 시냅스 아키텍처를 제안한다. NAND 셀 스트링 기반의 새로운 시냅스 아키텍처는 오프 칩 학습에서 이진 신경망 (BNN)을 위한 XNOR 연산이 가능한 고밀도 시냅스로 사용된다. 상호 보완적인 방식으로 NAND 플래시 셀의 임계 전압과 입력 전압을 변경함으로써 XNOR 연산을 성공적으로 수행한다. NAND 플래시 셀의 큰 온/오프 전류 비율(~ 7x105)은 ECC 없이 고밀도 및 고신뢰성의 BNN을 구현할 수 있다. 우리는 4비트 가중치를 갖는 매우 견고하며 고집적의 양자화된 신경망(QNN)을 위한 NAND 플래시 메모리를 기반의 새로운 시냅틱 아키텍처를 제안한다. 양자화 학습은 훈련 후 양자화에 비해 추론 정확도의 저하를 최소화할 수 있다. 제안하는 동작 방식은 BNN에 비해 더 높은 추론 정확도를 가지는 QNN을 구현할 수 있다. 온 칩 학습은 훈련 중 시간과 에너지 소비를 크게 줄이고 시냅스 소자의 산포를 보상하며 변화하는 환경에 실시간으로 적응할 수 있다. NAND 플래시 메모리 구조의 높은 집적도를 사용한 온 칩 학습은 매우 유용하다. 그러나 기존의 RRAM 어레이에 사용되는 온 칩 학습 방법은 NAND 플래시 메모리의 셀 스트링 구조로 인해 NAND 플래시 셀을 시냅스 소자로 사용하는 경우 활용할 수 없다. 이 연구에서는 온 칩 학습을 위해 NAND 플래시 메모리에서 순방향 전파 (FP) 및 역방향 전파 (BP)를 가능하게 하는 새로운 시냅스 어레이 아키텍처를 제안한다. 제안된 시냅스 아키텍처에서는 가중치가 올바르게 전치될 수 있도록 양의 시냅스 가중치와 음의 시냅스 가중치가 서로 다른 어레이로 분리된다. 또한 기존 NAND 플래시 메모리와 달리 소스 라인 (SL)을 분리하여 NAND 플래시 메모리에서 순방향 전파와 역방향 전파를 모두 연산할 수 있다. NAND 셀 어레이의 비트 라인 (BL) 및 스트링 선택 라인 (SSL)에 각각 입력 및 오류 입력을 인가함으로써 PASS 셀의 효과를 제거하여 순방향 전파 및 역박향 전파 모두에서 정확한 벡터 행렬 곱셈이 성공적으로 수행되도록 한다. 제안된 온 칩 학습 시스템은 오프 칩 학습 시스템에 비해 소자의 산포에 대해 훨씬 영향이 적다. 마지막으로, 제안된 온 칩 학습 아키텍처의 우수성을 신경망의 회로 시뮬레이션을 통해 검증하였다.