다양한 스파이크 기반 신경망 시뮬레이션을 위한 디지털 회로 구조

Abstract

스파이킹 기반 신경망(Spiking Neural Networks, SNN)은 생명의 신경계의 작동 방식을 이해하기 위한 모델로서 신경과학 연구에서 많이 활용된다. SNN은 뉴런과 뉴런 사이의 상호작용을 뜻하는 스파이크가 가지는 시간적인 개념을 적용함으로써 생물체의 신경계를 모방한다. 뉴런의 내부 상태는 시간과 입력 스파이크에 따라 변화하며 내부 상태가 특정 조건을 만족하면 뉴런은 스파이크를 발생시킨다. 신경계를 구성하는 뉴런은 유형에 따라 각기 다른 행동을 보이기 때문에 SNN 시뮬레이션 프레임워크는 이러한 다양한 뉴런 행동을 지원하여야 한다. 몇몇 프레임워크는 임의의 뉴런 모델을 지원하기 위하여 다목적 프로세서에 의존하여 시뮬레이션을 진행하지만, 실행 시간과 에너지 소모 측면에서 비효율적이다. 이러한 비효율을 극복하기 위하여 일부 프레임워크는 시뮬레이션에 특화된 가속기를 제안한다. 하지만 기존 시뮬레이션 가속기는 모델 중심 설계의 한계로 인하여 제한된 개수의 뉴런 모델만을 지원할 수 있어 목표 SNN을 시뮬레이션하는데 한계가 있다. 본 논문에서 제안하는 Flexon은 다양한 뉴런 모델에서 공유하는 생물학적 공통 특징을 활용하여 효율적인 SNN 시뮬레이션을 가능하게 한다. 기존의 신경과학 연구에서 활용해 온 SNN을 분석하여 그들이 공유하는 특징을 파악하였고, 이를 기반으로 디지털 회로를 설계하였다. Flexon의 특징-중심 설계는 기존의 모델 중심 설계와 비교해 더 많은 수의 뉴런 행동을 지원할 수 있게 되었다. 추가로 이들 사이에 공유되는 기본 연산 단위를 구해 칩 크기를 감소시켰으며, 하드웨어의 복잡도를 높여 유연성을 한층 더 증가시켰다. Flexon과 공간 집약적 Flexon, HH-Flexon은 유연하고 효율적이며 기존 하드웨어에 쉽게 결합할 수 있다. TSMC 45 nm를 활용한 Flexon과 공간 집약적 Flexon의 프로토타이핑 결과는 12-뉴런 Flexon의 에너지 효율이 CPU와 GPU 대비 각 6,186배, 422배 향상되었으며, 칩 크기는 9.26 mm2으로 작았다. 72-뉴런 공간-집약적 Flexon의 성능 개선은 CPU와 GPU 대비 122.45배, 9.832배이며 칩 크기는 7.62 mm2이었다.

Spiking Neural Networks (SNNs) are widely used in neuroscience research as models for understanding how the nervous system works. SNN mimics the nervous system of organisms, incorporating the concept of time into neurons and inter-neuron interactions called spikes. The internal state of a neuron changes with respect to time and input spikes. When the internal state satisfies a certain condition, the neuron generates a spike. As the neurons that make up the nervous system exhibit different behaviors depending on the type, the SNN simulation framework should support these various neuron behaviors. Some frameworks rely on a general-purpose processor to support any neuron models, but they are inefficient in terms of execution time and energy consumption. To overcome this inefficiency, some frameworks propose a specialized accelerator. However, existing simulation accelerators can only support a limited number of neuron models due to the limitations of a model-driven design, which limits the simulation of target SNNs. Flexon proposed in this paper enables efficient SNN simulations, utilizing biologically common features in various neuron models. We analyzed the SNNs used in existing neuroscience research and identified a set of biologically common features. Flexon is able to support a greater number of neuron behaviors compared to existing model-driven designs. In addition, computational primitives can be exploited to further reduce the chip area and the complexity of the hardware can be enhanced to further improve the flexibility of the hardware. Flexon, spatially-folded Flexon and HH-Flexon are flexible, efficient and can easily be integrated into existing hardware. The result of prototyping of Flexon and spatially-folded Flexon using TSMC 45 nm shows that the energy efficiency of 12-neuron Flexon is improved for 6,186x and 422x compared to CPU and GPU, respectively, in a small footprint 9.26 mm2. The performance improvement of the 72-neuron spatially-folded Flexon is 122.45x, 9.832x the CPU and GPU repectively, in a smaller footprint 7.62 mm2.