FlexPatch: Fast and Accurate Object Detection for On-device High-Resolution Live Video Analytics

Abstract

This thesis presents FlexPatch, a novel mobile system to enable accurate and real-time object detection over high-resolution video streams. A widely used approach for real-time video analysis is detection-based tracking (DBT), i.e., running the heavy-but-accurate detector every few frames and applying a lightweight tracker for in-between frames. However, the approach is limited for real-time processing of high-resolution videos in that i) a lightweight tracker fails to handle occlusion, object appearance changes, and occurrences of new objects, and ii) the detection results do not effectively offset tracking errors due to the high detection latency. This thesis proposes tracking-aware patching technique to address such limitations of the DBT frameworks. It effectively identifies a set of subareas where the tracker likely fails and tightly packs them into a small-sized rectangular area where the detection can be efficiently performed at low latency. This prevents the accumulation of tracking errors and offsets the tracking errors with frequent fresh detection results. Our extensive evaluation shows that FlexPatch not only enables real-time and power-efficient analysis of high-resolution frames on mobile devices but also improves the overall accuracy by 146% compared to baseline DBT frameworks.

본 학위논문에서는 고화질 비디오 스트림에 대해 정확한 실시간 객체 검출을 수행하기 위한 모바일 시스템인 FlexPatch를 제시한다. Detection-based Tracking (DBT)는 수 프레임마다 정확하지만 고연산을 요하는 객체 검출기를 실행하고 그 사이의 프레임들에 대해서는 경량화된 객체 트래커를 실행하는 기법으로, 실시간 비디오 분석에 널리 쓰인다. 하지만 DBT는 고화질 비디오의 실시간 분석에 대해 다음과 같은 한계를 가진다: i) 객체 트래커는 가림, 물체 외양 변화, 새로운 물체의 등장 등을 처리하지 못하여 에러가 점차 누적되며 ii) 객체 탐지의 높은 지연 시간으로 인해 객체 탐지 결과가 트래킹 에러를 회복시키지 못한다. 본 학위논문에서는 DBT의 한계를 극복하기 위해 tracking-aware patching 기술을 제시한다. 본 기술은 트래커가 실패하는 영역들을 탐지해내고 이들을 작은 직사각형 영역에 합쳐 객체 검출기에 인풋으로 제공함으로써 객체 검출 지연시간을 최소화한다. 이를 통해 트래킹 에러의 누적을 막고, 새로운 객체 검출 결과로 트래킹 에러를 더욱 자주 회복시킬 수 있다. 실험 결과 FlexPatch는 기존의 DBT 시스템에 비해 146%의 정확도 향상을 달성하며 모바일 기기에서 실시간 고화질 비디오 분석을 가능케 함을 확인하였다.