Study on Resistive Switching Systems: Demonstration of Neuromorphic Hardware Implementation

Abstract

인공신경망은 학습능력이라는 독특한 기능을 구현할 수 있기 때문에 많은 관심을 받아왔다. 최근에는 동적인 정보를 처리하기 위한 스파이킹 인공신경망에 대한 관심이 고조되고 있다. 하지만 소프트웨어 방식으로 동작하는 스파이킹 인공신경망의 경우, 연산시간이 비효율적으로 늘어나기 때문에 물리적으로 동작하는 하드웨어 기반의 스파이킹 인공신경망의 중요성이 높아지고 있다. 본 논문에서는 메모리/스위치 현상을 나타내는 저항변화 시스템을 연구하고 그 현상학적 특성을 이용하여 스파이킹 인공신경망의 기본구성요소인 뉴런과 시냅스의 기능 구현 개념연구를 진행하였다. 우선 인공시냅스의 단기가소성은 TiO2 와 반응성 금속 Cr, Ni, Ti 기반의 전기화학적 커패시터에서 산화환원 반응을 통해 구현되었다. 실험적으로, 인공시냅스의 시냅스 강화 현상은 생물시냅스에서 관찰되는 바와 같이 무한정 증가하지 않았다. 생물 시냅스 강화현상을 표현하는 Bienenstock-Cooper-Munro 경험식의 움직이는 문턱 개념을 도입하여 인공시냅스의 동역학적 시냅스 강도변화를 실험식으로 모사가능 하였으며 각각의 전기화학적 커패시터의 시냅스 강화현상을 수치정보화 하였다. 다음으로, 뉴런 세포막의 급격한 전도도 변화현상을 모사하기 위하여 세 종류의 스위치 시스템에 대한 연구를 수행하였다. 우선, TiO2 기반 비전기화학적 커패시터 시스템의 이온-블로킹 접촉과 저항신축성을 알아보기 위해 실험적, 이론적으로 전류-전압 이력현상을 분석하였다. 생물뉴런의 스파이크 생성현상을 유사한 현상을 관찰할 수 있었으나, 단독 비전기화학적 커패시터는 연속적인 스파이크를 생성하는 것은 불가능하였으며 단독 저항 스위치는 회로에 내장된 형태로 구현되어야 함을 확인하였다. 문턱스위를 내장한 neuristor-based leaky integrate and fire (NLIF) 뉴런의 거동을 시뮬레이션을 활용하여 이론적으로 예측하였다. NLIF 뉴런의 동역학적 특징은 2차원 위상면 분석을 통해 위상면 상의 분기선과 고정점의 조건으로 결정됨을 제시하였다. 주목할만한 점은 문턱스위치의 동작시마다 발생하는 동작 산포에 의해 뉴런잡음이 발생한다는 것으로, 결과적으로 이 잡음은 푸아송 분포와 비슷한 형태를 가지며 뉴런 정보전달의 신뢰도를 낮추게 된다. 정보전달의 신뢰도를 평가하기 위해서 군집 NLIF 뉴런을 통한 정보전달 시뮬레이션을 진행하였으며, 그 결과 문턱스위치의 동작산포에도 불구하고 높은 신뢰도의 정보전달이 이루어짐을 확인하였다. 마지막으로, 문턱스위치와 비이상 연산증폭기를 기반으로 한 relaxation oscillator-based leaky integrate-and-fire (ROLIF) 뉴런 회로를 제시하고, 개념연구를 진행하였다. 실험적으로 ROLIF 뉴런의 특성 4가지 즉, 아날로그 타입 정보 암호화, 신호 증폭, 일방향 신호전달, 푸아송 잡음을 평가, 분석하였다. 단일 ROLIF 뉴런의 특성 뿐 아니라 수동 시냅스를 적용하여 흥분성 연접후 전위증가 현상으로 인해 연접전 뉴런에서 연접후 뉴런으로 신호가 전달됨을 실험적으로 확인하였다. 제안된 뉴런모델의 특성을 일반화하기 위하여 다양한 이득값과 슬루율을 갖는 비이상 연산증폭기를 시뮬레이션하였으며 결과적으로, 특정 슬루율이 넘는 조건에서는 이득값이 지배적인 파라미터임을 확인하였다. 최종적으로, 하나의 연접후 뉴런이 다수의 연접전 뉴런과 연결된 경우에도 공간적 신호쌓기에 의한 흥분성 연접후 전위증가가를 예측할 수 있으며, 비동기적인 스파이크의 무작위 잡음이 핵심적인 역할을 수행함을 확인하였다.

Artificial neural networks have been attracted a great interest due to its unique functionality, i.e. learning ability. Recently, the necessity of spiking neural network (SNN) is likely to increase so as to handle dynamic information from our real world. Regarding the time consuming process of the SNN within in-silico method, hardware-based SNNs have received remarkably great attention. In this thesis, memory and switch devices were investigated, then proof-of-concept demonstration was conducted for building blocks of SNNs, i.e. an artificial neuron and synapse. Short-term synaptic plasticity of faradaic type electrochemical capacitors (ECs) utilizing TiO2 mixed ionic-electronic conductor (MIEC) were reported. Various reactive electrode materials e.g. Ti, Ni, and Cr were employed to emulate redox-related short-term memory (STM) of the artificial synapse. By experiments, it turned out that the potentiation behaviors did not represent unlimited growth of synaptic weight. Instead, the behaviors exhibited limited synaptic weight growth that can be understood by means of an empirical equation similar to the Bienenstock-Cooper-Munro (BCM) rule, employing a sliding threshold. The observed potentiation behaviors were analyzed using the empirical equation and the difference between the different ECs were parameterized. For the emulation of abrupt conductance fluctuation at the neurons membrane, three types of non-memory switching systems were examined. First, current-voltage hysteresis of TiO2-based non-faradaic capacitors was investigated to primarily focus on the correlation between the blocking contact and the elasticity, i.e. non-plasticity, of the capacitors resistance change, in experimental and theoretical methods. The similarity between the spike firing behavior in neurons and the elasticity of the non-faradaic capacitors was addressed. Second, GeSe-based threshold switches (TSs) were examined. Both single (Pt/GeSe/Pt)-and dual-layered (Cu/SiOx/GeSex/Pt) TSs exhibited monostable resistance switching, i.e. non-memory switching phenomenon. Towards this end, oscillatory circuits encompassing the TS were considered based on the leaky integrate-and-fire (LIF) neuron model. Therefore, simulations on the neuronal behavior of neuristor-based leaky integrate-and-fire (NLIF) neurons were conducted based on the threshold switch. The spike firing dynamics of the NLIF neuron was analyzed on two-dimensional phase plane, whose results suggest the dynamics is determined by two nullclines conditional on the variables on the plane, and thus the fixed point also conditional on them. A note should be placed on the operational noise caused by the variability of the threshold switching behavior in the neuron on each switching event. As a consequence, we found that the NLIF neuron exhibits a Poisson-like noise in spike firing, delimiting reliability of information conveyed by individual NLIF neurons. To highlight neuronal information coding at a higher level, a population of noisy NLIF neurons is analyzed in regard to probability of successful information decoding given the Poisson-like noise of each neuron. The result suggests highly probable success in decoding in spite of large variability of individual neurons due to the variability of the threshold switching behavior. Third, a proof-of-concept demonstration of relaxation oscillator-based leaky integrate-and-fire (ROLIF) neuron circuit was realized by employing an amorphous chalcogenide-based threshold switch and non-ideal op-amp. The proposed ROLIF neuron offers biologically plausible features such as analog-type encoding, signal amplification, unidirectional synaptic transmission, and Poisson noise. The synaptic transmission between pre and postsynaptic neurons is achieved through a passive synapse (synaptic resistor). The synaptic resistor coupled with the non-ideal op-amp enables synaptic weight-dependent excitatory postsynaptic potential (EPSP) evolution that evokes postsynaptic neurons spiking. In an attempt to generalize our proposed model, we theoretically examine ROLIF neuron circuits adopting different non-ideal op-amps of different gains and slew rates. The simulation results points to the importance of the gain in postsynaptic neurons spiking irrespective of the slew rate as far as the rate exceeds a particular value, providing the basis of the ROLIF neuron circuit design. We eventually highlight the behavior of a postsynaptic neuron in connection to multiple presynaptic neurons via synapses in terms of the EPSP evolution amid simultaneously incident asynchronous and noisy presynaptic neurons spikes – which in fact uncovers the beauty of the random noise in spatial integration.