Overshoot-Suppressed Memristor Arrays for Neuromorphic Systems

Abstract

최근 인공지능 (AI) 기술 발전이 급속도로 빨라지고 있으며 대중들의 관심도 높아지고 있다. 특히 ChatGPT와 같은 진보된 소프트웨어 기반 인공지능 기술이 개발되고 전세계 인구가 그 혁신을 경험하는 상황에 이르렀다. 하지만 이런 소프트웨어 기반 인공지능이 발전할 수록 컴퓨팅 시스템에 요구되는 성능 또한 급격히 증가하게 된다. 특히 소프트웨어기반의 Artificial Neural Network (ANN)으로 이미지 분류, 음성인식, 추론과 같은 작업을 수행하기 위해서는 막대한 양의 학습, 테스트 데이터로 반복 연산이 진행되어야 하며 인식해야 할 데이터가 복잡해지고 높은 정확도가 요구될수록 연산 시간과 에너지 소모가 극심해진다. 반복연산을 빠르게 하기 위해서는 병렬적 데이터 처리가 필요하기 때문에 CPU 대신 GPGPU와 같은 AI 가속기가 주로 사용되고 있으며 소프트웨어 AI 연산 목적의 전용 프로세서인 TPU, NPU 등의 개발도 이루어지고 있다. 하지만 이런 소프트웨어 기반 AI가 발전하면서 연산속도와 전력소모에 대한 개선 필요성이 커지고 하드웨어 뉴런, 시냅스 소자를 기반으로 한 뉴로모픽 시스템의 중요성이 더욱 증가하고 있다. 뉴로모픽 시스템은 어레이로 구성된 시냅스 소자를 이용하여 벡터-행렬 곱 연산 (VMM)이 가능하기 때문에 연산 속도가 빠르고 매우 낮은 전력을 소비한다. 따라서 그에 적합한 시냅스 소자를 개발하고 어레이로 확장하는 연구가 활발히 진행되고 있다. 인텔에서 개발된 Spiking Neural Network (SNN) 기반 뉴로모픽 칩인 Loihi 에서는 시냅스 소자로 SRAM이 사용되었으나 소자의 면적이 매우 크기 때문에 집적도 측면에서 약점을 가지고 있다. 따라서 집적도가 높은 flash 및 저항변화 소자 구조에 대한 연구가 집중적으로 이루어지고 있다. 그 중에서 Resistive Random-Access Memory (RRAM) 소자는 구조가 간단하고, 고속동작, 신뢰성 특성이 좋은 장점을 가지고 있지만 장치간 특성 및 반복 동작 특성 산포가 큰 문제점이 있고 전도성 필라멘트 형성 과정에서의 오버슛을 해결해야 하는 문제가 있다. 필라멘트가 형성될 때 오버슛을 적절히 억제하지 못하는 경우 동작전류가 높아 지거나 소자가 파괴되어 저항변화 특성을 나타내지 않게 된다. 또한 소자간 스위칭 전압 산포가 크면 어레이를 구동하기 어려운 문제가 있다. 특히 포밍, 셋 전압의 차이가 큰 경우 포밍 진행 시에 다른 소자가 파괴되는 경우가 발생할 수 있으며 셋, 리셋 전압 차이가 큰 경우 소자간 간섭에 의해 목표 가중치를 정확하게 전사할 수 없다. 해결 방법으로 1T-1R구조를 적용하면 소자 간섭을 막을 수 있고 트랜지스터에 흐르는 전류를 제한하여 목표 가중치를 정확하게 전사하는 것이 가능해지지만 4F2의 feature size를 가지는 0T-1R구조에 비해 시냅스 소자의 집적도가 낮아지는 단점이 있다. 따라서 대규모 0T-1R 크로스 포인트 어레이 동작이 가능하도록 Al2O3/TiOx 기반 RRAM 소자 내부에 AlOy 오버슛 억제 층 (OSL)을 삽입하여 필라멘트 형성 시 오버슛을 줄이기 위한 방법을 제시하였고, 열처리 조건, TiOx의 산소 조성비를 최적화하여 스위칭 전압의 산포를 개선하고 소자 수율을 향상시켰다. 또한 최적화된 시냅스 소자를 사용하여 32 × 32 크기의 어레이를 제작하고 외부적인 전류제한 없이 스위칭 동작 진행 결과 셀 수율 100%를 확보하였다. 각각의 시냅스 소자는 저전력 동작 과 동시에 (100 kΩ ~ 6 MΩ) 4-bit로 가중치를 만들 수 있었다. 마지막으로 MNIST 784 × 32 × 10의 간단한 뉴럴 네트워크를 구성하고 Fully Connected Network (FCN)인 32 × 10을 32 × 20 어레이로 (G+, G-) 가중치 전사를 진행하였으며 스위칭 매트릭스를 통해 추론 측정을 진행하였다. 어레이로 전사될 가중치는 파이썬 시뮬레이션에서 일반적인 ANN 학습방법을 사용하였고 시냅스가 4-bit의 가중치를 가지도록 양자화 하여 구했으며 추론 과정은 rate encoding을 적용한 SNN으로 전환하여 진행하였다. SNN은 하드웨어 시냅스에 적용하기에 적합한데 소자의 아날로그 전압/전류 특성이 선형적이지 않은 경우 뉴런에서 생성되어 나오는 서로 다른 크기의 신호를 시냅스로 입력할 때 가중치 오차가 발생할 수 있기 때문이다. 따라서 뉴런의 출력이 동일한 전압 크기를 가지며 스파이크의 개수로 표현하는 것이 시냅스 소자의 아날로그 스위칭 특성에 의한 오차를 줄일 수 있다. 또한 이벤트 기반 동작이 가능하고 추론 과정에서 아날로그-디지털 혹은 디지털-아날로그 변환을 수행하는 회로들이 필요 없으므로 회로구성이 간단해지고 효율적인 에너지 사용이 가능하다. 최종적으로 2,000개의 테스트 데이터, 30개 타임스텝, 읽기 전압 크기의 스파이크 입력에 대한 출력 노드 측정 결과 94.6%의 인식률을 확인할 수 있었다. 소프트웨어 에서의 인식률은 95.8%였으며 1.2% 포인트 인식률 하락의 원인을 확인하기 위해 오차가 있는 가중치 전사 후 결과로 다시 시뮬레이션을 진행한 결과 95%의 인식률을 확인하였다. 따라서 가중치의 전사 오차에 의해 인식률 0.8% 감소, 추론 측정 중 가중치 변화(유지력 저하 또는 읽기 방해)에 의해 0.4%의 오차가 발생한 것을 확인하였다.

Recent advancements in artificial intelligence (AI) technology based on artificial neural networks (ANNs) have rapidly progressed, leading to widespread applications in various aspects of society, such as the Internet of Things (IoT), big data processing, personalized services, and automation. However, existing AI technologies are predominantly software-based. Implementing them using conventional serial computing systems can result in bottlenecks between processors and memory, causing slow processing speeds and high-power consumption. Consequently, there is active research on neuromorphic systems to enable parallel processing and low-power operation. In neuromorphic systems, neurons responsible for computation and synapses that function as memory are massively interconnected in parallel and can be implemented as semiconductor devices. Semiconductor devices, which act as synapses in neuromorphic systems, require non-volatile memory characteristics and the ability to implement multi-bit weights. Among various memory devices, resistive random-access memory (RRAM) is a two-terminal device capable of achieving a small feature size of 4F2, resulting in high integration density. Its ability to control the conducting filament shape allows for multi-bit operation, making RRAM a promising candidate for research as a synaptic device. However, overshoot current can cause device destruction during the filament formation, necessitating using a transistor to provide current compliance (CC). In the commercialization phase, a 1T-1R structure is commonly chosen. However, the 1T-1R structure shares similarities with the NOR flash, resulting in reduced integration density. Thus, it is essential to create the CC device itself. In this dissertation, an overshoot suppression layer (OSL) was incorporated within the RRAM to enable the implementation of a large cross-point array in a 4F2 configuration without using a transistor to prevent overshoot current. The OSL functions as a serial resistance within the RRAM, preventing excessive current flow and consequently restricting filament size from growing excessively. To implement an OSL, oxygen composition in TiOx was adjusted and optimized. As the oxygen composition in TiOx increases, so does the resistivity, allowing for the creation of overshoot suppression effects. Experimental results confirmed the functionality of the OSL when the x-value in TiOx was 1.81. However, during the device fabrication process, the deposition of the titanium metal layer above TiOx resulted in oxygen scavenging effects, causing only a few single devices to exhibit self-compliance characteristics. Consequently, reducing the oxygen scavenging effect of the top electrode is essential to apply the self-compliance characteristics to all RRAMs composing the array. In addition, Al has a high oxidation potential and forms stoichiometric Al2O3 when combined with oxygen. Therefore, when deposited onto TiOx, a uniform AlOy layer forms, enabling all cells in a 32 × 32 array to exhibit self-compliance characteristics. Additionally, each synaptic device produced a 4-bit weight range with a low operation current. (100 kΩ ~ 6 MΩ). The performance of the OSL RRAM array is evaluated with the MNIST dataset, which consists of a simple network of 784 × 32 × 10. ANN training methods were used in Python simulations for training each weight and then quantized weights to have a 4-bit. Finally, the inference process was converted to a spiking neural network (SNN) with rate encoding applied. SNNs are suitable for hardware synapse implementation since non-linear analog I/V characteristics of the device can cause significant weight errors. Therefore, representing the output of neurons with the same voltage magnitude and spike rate can reduce errors caused by the analog switching characteristics of synaptic devices. Furthermore, SNNs enable event-driven operation and efficient energy use, as they do not require analog-to-digital or digital-to-analog conversion circuits during the inference process. Finally, a recognition rate of 94.6 % for 2,000 test data and 30-timestep based on output node measurements is confirmed. The recognition rate in the software was 95.8 %. A simulation with transferred weight was conducted to identify the cause of the 1.2 percentage point loss and confirmed a 95 % recognition rate. Thus, A 0.8 % decrease in recognition rate was due to weight transfer errors, and a 0.4 % error occurred during inference measurement due to weight changes (retention or read disturb). The proposed OSL structure and cell yield improvement process within the array enable RRAM to be a synaptic device with high integration density in neuromorphic systems. Moreover, since the possibility of a hard breakdown in devices due to overshoot can be significantly reduced when fabricated and operated as an array, it can be applied to various applications, not only synapse devices.