이종 프로세서 환경에서의 복수의 딥 러닝 어플리케이션 스케줄링 기법

Abstract

이종(Heterogeneous) 프로세서 환경에서의 복수의 딥 러닝 어플리-케이션 스케줄링은 기본적으로 NP-난해(NP-Hard) 문제에 속하여 매우 큰 문제 공간을 가진다. 그래서 일반적으로 유전 알고리즘(GA, Genetic Algorithm) 같은 메타 휴리스틱(Meta-heuristic)이 사용된다. 그러나 메타 휴리스틱은 수행 시간이 매우 길어 런타임에 사용하기 어려운 단점을 지닌다. 따라서 본 논문은 이러한 메타 휴리스틱의 단점을 보완하면서 성능 또한 크게 떨어지지 않는 새로운 기법의 스케줄링 휴리스틱을 제안한다. 한편, 스케줄링 문제 해결에 일반적으로 활용되는 리스트 스케줄링(List Scheduling)은 복수 응용 스케줄링의 핵심인 스케줄 가능성 (Schedulability)을 고려하지 못 한다. 이를 극복하기 위해 본 논문은 합성과 반복 개선 방식을 개발하여 제안하는 휴리스틱을 구현하였다. 제안하는 휴리스틱의 성능을 입증하기 위해 CPU, GPU, NPU가 탑재된 실제 이종 프로세서 환경에서 여러 딥 러닝 네트워크들에 대한 실험을 진행하였다. 유전 알고리즘 스케줄러와 간단한 스케줄링 휴리스틱과의 성능 비교 실험을 통해, 제안하는 휴리스틱이 상대적으로 빠른 시간 내에 복수의 딥 러닝 어플리케이션에 대한 효과적인 스케줄링 결과를 도출하는 것을 검증하였다.

The scheduling of multiple deep learning applications on heterogeneous processors is basically an NP-hard problem with a very large problem space. Meta-heuristics such as GAs (Genetic Algorithms) may be applied, but these have the disadvantage of having too long an execution time to be applied at run time. Therefore, this study proposes a new scheduling heuristic, which complements this shortcoming and does not significantly degrade scheduling performance. The proposed heuristic overcomes the limitations of traditional list scheduling techniques that fail to take into account the schedulability issue in the scheduling of multiple applications and introduces a new approach called synthesis and iterative improvement. It is confirmed through experiments with different deep learning networks on heterogeneous processors (including CPUs, GPUs, and NPUs) that the proposed heuristic produces good scheduling results that are sufficiently fast to apply at run time.