정적 프로파일링을 통한 GPU 워크로드의 데이터 지역성 및 L1 캐시 분석 연구

Abstract

GPU는 계산적 효율성이 알려짐에 따라 컴퓨터 그래픽스에만 활용되고 있는 것뿐만 아니라 고성능 컴퓨팅, 머신러닝 등 다양한 워크로드에서도 사용되고 있다. 이에 따라 GPU의 한정된 메모리 자원을 효율적으로 이용하려는 연구가 활발히 진행되고 있다. 특히 GPU 메모리 계층 구조에서 크기가 작지만 접근 속도가 빠른 L1 데이터 캐시를 효율적으로 활용하기 위해선 워크로드의 데이터 지역성을 알고 활용하는 것이 매우 중요하다. 따라서 본 논문은 워크로드의 데이터 지역성을 분석하고 객관화하기위한 척도를 제안한다. 이를 위해 PTX 코드를 기반으로 한 정적 프로파일링을 수행하여 지역성을 나타내는 지표를 정의하고 실제 다양한 GPU 워크로드들을 분석한다. 이러한 분석을 통해 본 연구가 제시하는 지역성 척도가 실제 실행 시 캐시 활용도와 유의미한 연관성이 있음을 확인하였다.

As computational efficiency is known, GPUs are not only used for computer graphics, but also for various workloads such as high-performance computing and machine learning. Accordingly, research to efficiently use limited memory resources of GPUs is being actively conducted. In particular, it is very important to know and utilize the data locality of the workload in order to efficiently use the small but fast-access L1 data cache to handle memory bottleneck problems. Therefore, this paper proposes a scale for analyzing and objectifying workload-specific data locality. To this end, various workloads used by actual GPUs were analyzed through static profiling based on PTX code. As a result of the static analysis, it was confirmed that there was a relationship between the degree of coalescing, coalescing graph, and cache utilization at the actual execution.