이종 프로세서 환경에서의 복수의 딥 러닝 어플리케이션 스케줄링 기법

Abstract

이종 프로세서 환경에서의 복수의 딥 러닝 어플리케이션 스케줄링은 기본적으로 NP-난해 (NP-Hard) 문제에 속하여 매우 큰 문제 공간을 가진다. 그래서 일반적으로 유전 알고리즘(GA, Genetic Algorithm)과 같은 메타 휴리스틱이 적용될 수 있지만 이는 수행 시간이 길어서 런타임에 적용하기 어렵다는 단점을 지닌다. 따라서 본 연구에서는 이러한 단점을 보완하면서 성능 또한 크게 떨어지지 않는 새로운 기법의 스케줄링 휴리스틱을 제안하였다. 제안하는 휴리스틱은 복수 응용 스케줄링의 스케줄 가능성 문제를 고려하지 못 하는 기존의 리스트 스케줄링 방식 휴리스틱들의 한계를 극복하여 합성과 반복 개선이라는 새로운 방식을 도입하였다. 그리하여 CPU, GPU, NPU로 구성되는 이종 프로세서 환경에서 여러 딥 러닝 네트워크들을 대상으로 하는 성능 비교 실험을 통해 제안하는 휴리스틱이 빠른 시간 내에 좋은 스케줄링을 생성함을 확인하였다. The scheduling of multiple deep learning applications on heterogeneous processors is basically an NP-hard problem with a very large problem space. Meta-heuristics such as GAs (Genetic Algorithms) may be applied, but these have the disadvantage of having too long an execution time to be applied at run time. Therefore, this study proposes a new scheduling heuristic, which complements this shortcoming and does not significantly degrade scheduling performance. The proposed heuristic overcomes the limitations of traditional list scheduling techniques that fail to take into account the schedulability issue in the scheduling of multiple applications and introduces a new approach called synthesis and iterative improvement. It is confirmed through experiments with different deep learning networks on heterogeneous processors (including CPUs, GPUs, and NPUs) that the proposed heuristic produces good scheduling results that are sufficiently fast to apply at run time.