PIM 명령어 스케줄링을 위한 동적 grain 크기 제어

Abstract

최근 Deep learning network는 성능을 증가시키기 위해 layer의 수와 크기가 증가하고 있다. 특히 NLP(Natural Language Processing)나 recommendation deep learning network는 layer의 크기가 크고 data reuse의 비율이 적어 memory bandwidth에서 bottleneck이 발생하고 있다. 위 문제를 해결하기 위해 최근 대두되고 있는 PIM (Processing In Memory)는 메모리의 내부 혹은 근처에서 연산을 수행하고, 이를 통해 deep learning이 가지고 있는 memory bandwidth bottleneck을 극복하고 있다. 이러한 PIM의 대표적인 예시로는 NEWTON memory가 있다. NEWTON memory는 데이터를 저장하는 main memory와 연산을 수행하는 PIM의 기능을 수행할 수 있다. 본 논문에서는 host processor에서 메모리에 요청하는 normal command와 PIM에서의 연산을 수행시키는 NEWTON command가 동시에 접근할 때, NEWTON memory의 구조와 특징을 고려하여 normal과 NEWTON command scheduling하는 새로운 PIM command scheduling policy를 소개한다. 본 연구에서는 NEWTON memory의 특성을 고려하지 않은 경우 생기는 문제점인 all bank activation overhead를 설명하고, 제안하는 PIM controller에서 MAC address table을 이용하여 normal command를 grain단위로 issue하는 dynamic command scheduling을 적용하였다. 실험을 통하여 dynamic command 방식은 기존의 FIFO(First In First Out)방식에 비해 SPEC CPU 2017의 execution time이 최대 28% 감소한 모습을 확인할 수 있었고, 이는 fine grain scheduling 방식보다 execution time이 감소한 것을 확인할 수 있었다.

Recently, Deep learning networks have been increasing in number and size of layers to increase performance. In particular, natural language processing (NLP) or recomandation deep learning network causes botleneck in memory bandwidth due to the large size of layers and the small proportion of data reuses. To address the above issues, the emerging Processing In Memory (PIM) performs operations in or near memory, thereby overcoming the memory bandwidth botleneck possessed by deep learning. A typical example of such PIM is the NEWTON memory. NEWTON memory can function as a main memory for storing data and a PIM for performing operations. In this paper, we introduce a new PIM command scheduling policy that takes into account the structure and features of the NEWTON memory, when the normal command requesting memory from the host processor and the NEWTON command performing operations from the PIM are simultaneously accessed. In this study, we describe all bank activation overhead, a problem that arises when the characteristics of the NEWTON memory are not considered, and apply dynamic command scheduling, which uses MAC address table in the proposed PIM controller to determine the normal command by grain. Experiments showed that the dynamic command method reduced the execution time of SPEC CPU 2017 by up to 28% compared to the conventional FIFO (First In First Out) method, which showed a decrease in execution time compared to the fine-grained method.