A Novel Design of Overpass Channel Synapse Array with Ultra-Low Power Operation for Neuromorphic Systems

Abstract

Von Nueumann 기반의 심층 신경망은 컴퓨팅 파워의 급속한 발전으로 놀라운 성능을 달성해왔다. 그러나 데이터 이동은 중앙처리장치(CPU)와 메모리의 직렬 연결로 인해 상당한 시간과 에너지를 소모한다. 그 결과, 뉴로모픽 시스템은 매우 낮은 전력 소비를 유지하면서 인공 신경망의 계산 문제를 해결하는 강력한 후보로 주목받았다. 특히, 뉴로모픽 시스템의 중요한 구성 요소인 시냅스는 뉴런 사이의 가중치를 저장하고 신호를 전달한다. 일반적으로 인공 시냅스는 벡터곱 연산이 Kirchhoff의 전류 법칙에 따라 전류 합으로 표현되기 때문에 빠르고 낮은 전력 소모로 작동한다. 따라서 멤리스터 기반의 2단자 소자, 플래시 메모리 기반의 시냅스 소자 등 다양한 시냅스 소자가 제안 및 연구되었다. 멤리스터 시냅스 소자는 구조가 단순하고 고집적·대용량 집적에 유리하지만 소자 편차, 신뢰성, 누설 전류 등에 한계가 있다. 반면 플래시 메모리 기반 시냅스 소자는 오랜 연구 역사를 가진 성숙한 분야로 안정적인 멀티비트 동작을 제공한다. 일반적으로 NAND, NOR 및 AND 타입의 어레이가 시냅스 어레이로 구현되며, NAND형 어레이는 가중치 값을 순차적으로 읽어야 하므로 추가 회로가 필요하다. 반면 NOR 및 AND 타입 어레이는 소스에서 전류를 감지하여 벡터곱 연산을 수행할 수 있으나 고집적에 한계가 있다. 본 논문에서는 초저전력 동작 및 RC 지연 감소를 위한 poly-Si 기반의 OCS(overpass channel synaptic) 트랜지스터를 제안하였다. OCS 트랜지스터는 두 가지 주요 구조적 이점을 보여준다. 첫째, 온 전류가 100nA 미만으로 핀 모양의 바닥 게이트를 둘러싼 채널로 인해 높은 온/오프 전류 비율을 가지고 있다. 둘째, 전하 저장층의 부피를 늘려 OCS 트랜지스터의 가중치를 미세하게 나눌 수 있다. NOR 타입의 OCS 어레이의 추론 및 가중치 업데이트를 실험적으로 증명하였다. 제작된 다이오드 연결형(D-C) OCS 어레이는 추론 시 1% 미만의 벡터곱 연산 오차를 나타냄을 검증하였다. 또한, D-C OCS 어레이의 시냅스 가중치는 비대칭 게이트가 있는 FN(Fowler-Nordheim) 터널링을 사용하여 nA 미만의 간격으로 조정된다. 마지막으로 Fashion MNIST 데이터 세트의 분류 정확도는 스파이킹 신경망(SNN)의 시냅스 가중치를 4비트 양자화 한 상태에서 1년 후에도 91.29%를 달성하였다.

Von Neumann-based deep neural networks have achieved excellent performance with the rapid development of computing power. However, moving data consumes a significant amount of time and energy due to the serial connection of the central processing unit (CPU) and memory. As a result, neuromorphic systems have emerged as a promising approach to address the computational challenges of artificial neural networks while maintaining extremely-low-power operation. In particular, synapse, one of the crucial building blocks of neuromorphic systems, stores the weights between neurons and transmits signals. According to Kirchhoff's current law, the artificial synapse can operate quickly with low power consumption because vector-matrix multiplication (VMM) is expressed as a current sum. Therefore, various synaptic devices have been proposed, including memristor-based two-terminal devices and flash memory-based synaptic devices. The two-terminal devices have a simple structure and are advantageous for high-density and large-capacity integration. However, these face challenges such as device variation, reliability, and sneak current. On the contrary, flash memory-based synaptic devices are a mature field with a long history of research, offering stable and multi-bit operation. NAND-, NOR-, and AND-type arrays are typically implemented as synapse arrays. NAND-type arrays require an additional circuit because the weight values must be read sequentially. NOR- and AND-type arrays can perform VMM operations by sensing current from the source line. However, these arrays suffer a limited degree of integration. This dissertation proposes a poly-Si overpass channel synaptic (OCS) transistor with scaled cell size for extremely-low-power operation. The OCS transistor exhibits two key structural advantages. Firstly, the on-current is decreased to sub-100 nA, maintaining a high on/off ratio due to the channel wrapping around the fin-shaped bottom gate. Secondly, the weights of the OCS transistors can be finely adjusted by augmenting the volume of the charge storage layer. We experimentally demonstrate the inference and weight update of the fabricated NOR-type OCS array. It is verified that the fabricated diode-connected (D-C) OCS array is suitable for VMM, exhibiting a weighted-sum error of less than 1% during inference. The synaptic weights in the D-C OCS array are adjusted to sub-nA resolution using Fowler-Nordheim (FN) tunneling with asymmetric gates. Furthermore, stable operation is demonstrated by verifying process-voltage-temperature variations. Finally, the classification accuracy for the Fashion MNIST dataset reaches 91.29% after a year, with four-bit quantization of spiking neural networks (SNNs).