아타리 게임 플레이를 위한 심층 강화학습 모델의 FPGA 가속기 디자인

Abstract

딥 러닝 기술이 컴퓨터 비전, 자연어 처리 등 여러 어플리케이션에 적용되어 큰 성공을 거두고 있다. 특히 강화학습 알고리즘에 딥 러닝 기술을 접목시킨 심층 강화학습은 아타리 게임을 이미지만으로 학습시킬 수 있게 하면서 주목을 받게 되었다. 이러한 딥 러닝 어플리케이션들은 대부분 많은 계산량을 요구하며 주로 데이터 병렬성을 이용해 GPU로 가속화했는데, 최근 들어 저전력 시스템에 대한 요구가 증가하면서 FPGA에서의 딥 러닝 가속화에 대한 연구가 활발히 진행되고 있다. FPGA는 어플리케이션에 따라 하드웨어를 재구성을 할 수 있는 디바이스이기 때문에 GPU에 비해 전력을 적게 사용할 수 있고, 특히 임베디드 시스템에서 활용도가 높다. 본 논문은 FPGA를 기반으로 심층 강화학습을 가속화하는 방법을 제시했다. 특히 아타리 게임 플레이를 위한 CNN(convolutional neural network) 모델을 가속화했다. CNN을 포함한 대부분의 딥 러닝 어플리케이션들은 계산량 뿐만 아니라 메모리 전송량이 많아서 메모리 대역폭과 온-칩 메모리가 제한된 FPGA에서 효과적으로 가속화하기 어렵다. 그러나 아타리 게임 플레이를 위한 CNN 모델은 FPGA 온-칩 메모리에 모두 들어갈 수 있는 크기이기 때문에 데이터의 재사용을 최대화할 수 있었다. 또한 C++, OpenCL 등의 상위 레벨 언어의 고수준 합성 툴을 사용하지 않고 하드웨어 레벨 언어인 Verilog로 프로그래밍해서 하드웨어 자원을 최대로 활용할 수 있도록 했다. 결과적으로 하드웨어 자원 90%이상을 활용했고, GPU와 비교했을 때 14배 이상 성능 향상을 보였다.

Deep learning technology has been successfully applied to various applications such as computer vision and natural language processing. In particular, deep reinforcement learning combining deep learning with reinforcement learning algorithms has attracted attention by allowing Atari games to be learned with images alone. Most of these deep learning applications require large amounts of computation and have been accelerated on GPUs, mainly using data parallelism. In recent years, there has been a growing demand for low-power systems, and studies are actively being conducted to accelerate deep learning on FPGAs. Since FPGA is a device that can reconfigure hardware according to applications, it can use less power than GPU, especially in embedded system. This paper presents a method to accelerate deep reinforcement learning based on FPGA. In particular, we accelerated the CNN (convolutional neural network) model for playing Atari game. Most deep learning applications, including CNN, have large memory footprint as well as computational complexity, making it difficult to accelerate effectively on FPGAs with limited memory bandwidth and on-chip memory. However, the CNN model for playing Atari was able to fit in the FPGA on-chip memory, minimizing data transfer. As a result, it utilized more than 90% of hardware resources, and showed a 14x performance improvement compared to GPU.