Splash: Thermal-aware Mobile-Cloud Collaborative Inference

Abstract

Continuous vision AI applications request multiple Deep Neural Network (DNN) model inferences on mobile devices for a long time which incurs the overheating problem. While running a DNN inference on mobile devices is growing in prominence, heat generated by utilizing multiple processors concurrently makes the device temperature exceed the predefined threshold easily. Alternative approaches of mobile-cloud collaborative systems have the limitation of only focusing on minimizing the makespan of inference requests without considering the thermal conditions of mobile devices.

This paper introduces Splash, a thermal-aware mobile-cloud collaborative DNN inference system, exploiting observations that performance per temperature among heterogeneous processors varies with the type of workload and dynamic condition changes. With the lightweight and efficient prediction models of future temperature and the latency of inference requests, Splash can leverage augmented heat budgets through thermal-aware scheduling. We evaluate our system using realistic workloads on two commodity smartphones for 10 minutes and show that Splash achieves up to 1.93x higher FPS without throttling than the state-of-the-art multi-DNN inference framework.

모바일 기기에서 연속적인 시각 인공지능 서비스를 사용하는 경우, 오랜 시간 동안 연속적으로 발생하는 다수의 딥 뉴럴 네트워크 (DNN) 추론으로 인해 모바일 기기의 과열 문제가 발생하게 된다. 모바일 기기의 여러 프로세서를 동시에 활용하는 것이 DNN 추론 실행에 유망한 반면, 이로 인해 발생하는 열은 모바일 기기의 온도 임계치를 초과하게 만드는 원인이 된다. 대안으로 모바일 기기와 클라우드가 협동하여 추론하는 시스템이 제안되고 있지만, 기존 시스템은 단순히 추론의 지연 시간을 최소화하는 것에만 목적을 두고 모바일 기기의 열 상태를 고려하지 않는다는 한계가 있다.

본 논문에서는 이기종 프로세서 간의 온성비가 실행하는 워크로드와 동적인 네트워크 상태 변화에 따라 우선 순위가 변경하는 사실을 활용하는 열 인지 기반 모바일-클라우드 DNN 협동 추론 시스템인 Splash 를 제안한다. Splash 는 미래의 온도와 지연 시간을 효율적으로 추측하는 모델을 바탕으로 열 인지 스케줄링을 통해 모바일 기기의 열 여유를 확보한다. 본 논문에서는 두 개의 스마트폰에서 실제 워크로드를 10분간 실행하는 실험을 진행하여, Splash 가 기존 다중 DNN 추론 시스템에 비해 1.93배 더 높은 FPS를 모바일 기기의 쓰로틀링 없이 지원할 수 있음을 보인다.