GPU를 활용한 딥 러닝 학습의 메모리 관리 기법

Abstract

현대에 자주 사용되는 딥 러닝 학습 프레임워크들은 GPU를 탑재한 이종 시스템을 활용하여 단기간에 높은 학습 성능을 달성하고 있다. 하지만 새롭게 개발되는 DNN들의 크기가 점점 커짐에 따라 GPU의 작은 메모리 용량이 학습에 문제가 되고 있다. 배치 크기는 학습의 성능에도 직접적인 영향을 미치기 때문에 GPU 메모리의 한계는 DNN의 학습 성능에 영향을 미친다. 사용자들은 기존의 딥 러닝 학습 프레임워크에서도 CPU 메모리를 GPU 메모리의 스왑 메모리로써 사용하여 GPU 메모리 문제를 극복할 수 있다. 하지만 사용자가 명시적으로 CPU와 GPU간 메모리 전송을 스케줄링하는 것은 사용자에게 큰 전문성을 요구한다. 본 논문에서는 사용자의 개입 없이 자동으로 CPU 메모리를 GPU 메모리의 스왑 메모리로 활용할 수 있도록 메모리를 관리하는 기법을 제안한다. 제시한 기법의 실효성을 확인하기 위해, 딥 러닝 라이브러리인 SnuDNN에서 제시한 기법을 구현하고 실험을 통해 이를 검증하였다.

Widely used deep learning frameworks utilize heterogeneous systems with GPUs to achieve high learning performance in a short period of time. However, as the recent DNNs become larger and deeper, the limitation of the GPU memory size is becoming an issue. Users can overcome the limitation by using the CPU memory as the swap memory of the GPU memory even in the existing deep learning frameworks. However, it requires great expertise for users to explicitly schedule memory transfers between CPU and GPU. This paper proposes a memory management technique so that CPU memory can automatically be utilized as swap memory of GPU memory without user intervention. The proposed technique is implemented by modifying the SnuDNN and verified through experiment.