Designing a Flexible, Efficient, and Scalable Brain Simulation Accelerator

Abstract

두뇌의 연산 능력을 이해하고 활용하기 위해 신경과학자들은 시간에 따른 상태 변화를 예측하는 두뇌 시뮬레이션에 의존한다. 두뇌에서 나타나는 다양한 행동 양식을 탐색하고 신경과학에 크게 기여하기 위해서, 신경과학자들은 대규모 시뮬레이션을 유연하고 효율적인 시뮬레이션 프레임워크를 필요로 한다. 하지만, 기존 프레임워크는 소프트웨어 기반으로 시뮬레이션하여 너무 느리고 비효율적이다. 하드웨어 기반 가속기들은 이와 같은 비효율성을 완화하지만, 시뮬레이션의 유연성이 낮고 매 시간 간격마다 필요로하는 고정적으로 발생하는 연산 및 동기화에 의해 최적의 시뮬레이션 환경을 제공하지 못한다. 본 학위논문은 유연성, 효율성, 확장성을 극대화한 두뇌 시뮬레이션 프레임워크를 위해 설계한 아키텍처인 FlexLearn, NeuroEngine, NeuroSync를 소개한다. 첫째로 FlexLearn은 17가지 대표적인 하위 학습 방법을 지원하는 회로를 설계하고, 하위 학습 방법을 조합하여 타겟하는 학습 모델을 시뮬레이션할 수 있게 만들었다. 다음 NeuroEngine은 매 시간 간격마다 뉴런의 상태 변화를 계산하지 않고 아닌 특정 이벤트가 발생하는 경우에만 상태 변화를 계산하여 시뮬레이션 효율성을 극대화한다. 마지막으로 NeuroSync는 매 시간 간격마다 시뮬레이션을 동기화하는 과정에서 발생하는 오버헤드를 최소화한다.

To fully understand and utilize the compute capabilities of the brain, neuroscientists rely on brain simulations that incorporate the concept of time into their operating model. The simulation involves computing the neuronal state changes over time and communicating the spikes via synapses. It also simulates learning by evaluating how the synapses change their weights in response to the spiking activity of the neurons. To explore various behaviors of the brain and thus make great advances, researchers demand a simulation framework to support large-scale simulations in both a flexible and efficient manner. However, existing simulation frameworks are too slow and inefficient due to their software-based simulation methodology. The hardware-based accelerators have mitigated the performance overhead to some extent, but they are still sub-optimal due to their inflexible hardware designs and excessive computation and synchronization overhead at each time interval. In this dissertation, we introduce the FlexBrain project to design a flexible, efficient, and scalable brain simulation framework. In this project, we design three different hardware designs (i.e., FlexLearn, NeuroEngine, and NeuroSync) to meet the three goals in a step-by-step manner. First, FlexLearn achieves high flexibility by identifying and supporting 17 representative sub-rules, which can be combined to simulate target learning rules. Second, NeuroEngine enables event-driven computations of the neuronal state changes to greatly reduce the excessive computation overhead using its specialized datapath and memory units. Third, NeuroSync enables a scalable and accurate simulation by adopting speculative synchronization while supporting rollback and recovery mechanisms to ensure simulation accuracy. The three architectures can be seamlessly integrated to design FlexBrain simulator, which serves as an optimal brain simulation framework.