Design and Optimization for Energy Efficient and Variation Resilient RRAM-based Neural Networks

Abstract

As neural networks are robust to various types of noises and require to be designed energy-efficiently, analog systems fit to implement them. However, there are two problems that make design the analog system difficult. At first, unlike digital system, it requires tremendous computation when simulating analog system in circuit simulation environment. Secondly, process and dynamic variations deteriorate the whole system, which ensues degraded performance of neural networks. To resolve these issues, in this paper, fast simulation methods and compensation algorithms for variations are proposed. Moreover, analog circuit neurons are designed using emerging memory devices such as RRAM to enhance energy-efficiency. Analog system with these neuron circuits outperforms digital system in energy efficiency. In this sense, this paper covers from analog neuron circuits and systems to algorithms to mitigate negative effects by variations and noises.

인공 신경망이 다양한 종류의 변이와 노이즈에 강인한 반면 에너지 효율적으로 설계할 필요성을 느끼면서, 아날로그 시스템은 인공 신경망을 구현하기에 적합하다. 하지만, 아날로그 시스템 설계는 두 가지 어려움에 직면해 있다. 먼저, 디지털 시스템과 달리, 아날로그 시스템을 회로 시뮬레이션 환경에서 시뮬레이션 할 경우 막대한 양의 계산을 필요로 한다. 둘째로, 공정 혹은 역동적 변이는 전체 시스템을 망가뜨려서 인공 신경망의 수행 능력 감소를 수반한다. 이 논문에서는 이런 문제점들을 해결하기 위해, 고속 시뮬레이션 방법과 변이에 반하는 보상 알고리즘을 제안한다. 더욱이, 에너지 효율성을 추구하기 위해 각광받는 메모리 소자를 활용한 아날로그 뉴런을 설계한다. 이런 신경 회로들로 구성된 아날로그 시스템은 에너지 효율성 측면서 디지털 시스템을 능가한다. 이런 의미에서, 이 논문은 아날로그 신경 회로와 시스템부터 변이와 노이즈의 부정적인 효과를 완화하기 위한 알고리즘을 다룬다.