동시에 실행되는 워크로드 조합에 따른 GPGPU 성능 분석 및 워크로드 GPGPU에 분배

Abstract

높은 연산 처리 능력을 가진 GPGPU를 활용하여 길고 복잡한 계산을 하려는 시도가 많이 있다. 하지만 연산을 하기 위해 host와 device 사이에 메모리 복사가 필요하며 이는 매우 큰 오버헤드로서 latency를 길어지게 만든다. 이 latency를 줄이기 위해 메모리 복사량을 줄이려는 노력이 있었다. 하지만 이를 위해서 추가적인 CPU 연산이 선행되거나 GPGPU 어플리케이션을 수정하는 등의 노력이 필요하다. 하지만 최신 GPGPU들과 그에 따른 device driver를 포함한 software들이 GPGPU를 공유 자원으로서 여러 개의 어플리케이션들이 함께 사용할 수 있도록 허용하고 있다. 그리고 서로 다른 어플리케이션의 메모리 복사 구간과 kernel 실행 구간은 동시에 실행이 가능하다. 이를 이용하면 메모리 복사를 하기위해 GPGPU가 기다리는 구간을 줄일 수 있고 이를 latency hiding 효과라고 한다. Latency hiding 효과가 많이 발생할수록 GPGPU의 utilization이 향상되기 때문에 GPGPU의 성능이 증가된다. 본 논문에서는 latency hiding 효과에 영향을 미치는 GPGPU 프로그램들의 특성을 분석하고 이를 바탕으로 성능 향상 예측 시뮬레이션을 제안한다. 워크로드 m 개를 n 개의 GPGPU들에 배치할 때 배치 가능 조합에 따라서 latency hiding 효과의 발생 정도가 달라지고 이는 성능과 직결됨을 보인다. 성능 향상 예측 시뮬레이션을 이용하여 워크로드들을 배치하면 모든 배치 가능 조합의 평균 성능 향상 대비 약 11.6% 더 성능이 향상되고, 성능 향상이 가장 적게 되는 조합 대비 약 25% 더 높아진다.