QoS-Driven Scheduling of Multiple Real-Time Nested Networks

Abstract

컴퓨터의 성능이 향상되면서 딥 러닝 네트워크를 임베디드 보드에서 돌리고자 하는 요구가 등장하였다. NVIDIA를 비롯한 하드웨어 제조사들은 Jetson TK1, TX1, TX2, AGX Xavier 등의 GPGPU를 포함한 임베디드 보드를 제작하였고, 이는 소형 RC카 등에서 성공적으로 딥러닝을 이용하여 자율주행을 하는 보드로써 성공적으로 자리를 잡게 되었다. RC카에서의 자율주행이 성공적으로 되자 실제 차량에서도 자율주행을 하고자 하는 연구들이 진행되었고, 하드웨어 제조사들은 이에 대응하는 차량용 인터페이스를 탑재한 NVIDIA DRIVE PX, AGX 같은 보드를 생산하게 되었다.

자율 주행 등의 실시간 시스템에서 사용하는 하드웨어 플랫폼이 개발되었음에도, 실시간 제약 조건을 만족하는 딥 러닝 네트워크의 개발은 만족스럽지 못하다. 기존에 개발된 네트워크들은 서버에서 돌리는 것을 가정하고 있기에 성능을 향상시키거나 수행시간을 감소시키는 것에 초점을 두고 있기에 실시간 제약조건을 고려하고 있지 않다. 자율 주행 차량의 주변 환경은 실시간으로 바뀌고 있기 때문에 일정 시간 이전의 데이터로 결과를 낼 경우 사용하기가 어렵고, 동일한 네트워크를 반복적으로 수행하여야 한다. 따라서 실시간 제약조건을 갖는 딥 러닝 네트워크들의 필요성이 대두되었다.

본 논문에서는 기존에 연구된 딥 러닝 네트워크를 실시간 제약조건을 만족하는 네트워크로 변형하고, 이를 스케줄링하는 문제를 제안하고자 한다. 먼저, 실시간 제약조건을 만족하는 네트워크로 변형하는 부분에서는 딥 러닝 네트워크를 실시간 제약조건을 만족하도록 특정 주기를 갖고 반복적으로 수행하는 태스크로 변형을 할 것이다. 또한, 하나의 하드웨어에서 다양한 태스크를 수행하게 된다면, 스케줄링이 불가능한 경우가 올 수도 있다. 따라서, 딥 러닝 네트워크가 하나의 학습된 데이터를 가지고 데드라인이 임박하여 정확도가 감소하더라도 수행시간을 짧게하거나 충분한 데드라인을 가지고 있어 기존 네트워크와 동일한 시간과 정확도를 갖게 예측을 할지 지정할 수 있는 중첩 네트워크 기술을 적용할 것이다. 따라서, 하나의 딥 러닝 네트워크는 수행되는 주기, 중첩 단계에 따른 품질을 갖는 실시간 중첩 네트워크로 변환이 될 것이다. 다음으로 이를 다중코어 CPU, 다중 GPGPU를 가진 환경에서 이러한 실시간 중첩 네트워크들을 품질의 합이 최대가 되도록 하는 스케줄링 문제를 제시하고, 문제를 단순화시켜 단일 GPGPU를 사용하는 환경 하에서 주기 및 중첩 단계를 조절하여 QoS를 최대화하는 문제를 해결하였다.

As computing power has been improved, needs of running deep learning on embedded systems is appeared. Thus, hardware manufactures made embedded boards with GPGPU: NVIDIA Jetson TK1, TX1, TX2, and AGX Xavier. Using these boards, autonomous RC cars are developed successfully. Therefore, possibility to use these boards on autonomous car is shown. Thus, hardware manufactures produce hardware which are specialized on autonomous driving car: NVIDIA DRIVE PX and AGX.

Despite of hardware development for real-time systems, there is no appropriate software for real-time deep neural network. Previous deep neural networks are not considering real-time constraint because networks are running in the server. Developers of the network are focusing on improving the performance and reducint the computation time. Because surround environment of autonomous driving car is always changing, inferred result of out-of-date is hard to use. Therefore, deep neural network should have real-time constraints to apply on autonomous driving car.

In this paper, I'll convert deep neural network to satisfy the constraint of real-time, then I'll propose the problem that schedules this network. For the first part, converting method that converts deep neural network to periodic task which has real-time constraint is proposed. Because it could be impossible to schedule all the tasks if number of tasks is large, the NestedNet technic is applied to adjust execution time of each task. NestedNet has several nested level, each with its own execution time and accuracy of inference. Basically, nested level that has the lower execution time has lower accuracy. Therefore, a deep neural network will be converted into real-time nested network that has a total quality calculated from period and nested level. Next, I'll propose the scheduling problem that maximizes the sum of total quality under the condition that schedules several real-time nested network using single GPGPU.