Dynamic layer skipping for efficient action recognition

Abstract

One of the challenges for analyzing video contents (e.g., actions) is high computational cost, especially for the tasks that require processing densely sampled frames in a long video. We present a novel efficient action recognition algorithm, which allocates computational resources adaptively to individual frames depending on their relevance and significance. Specifically, our algorithm adopts LSTM-based policy modules and sequentially estimates the usefulness of each frame based on their intermediate representations. If a certain frame is unlikely to be helpful for recognizing actions, our model stops forwarding the features to the rest of the layers and starts to consider the next sampled frame. We further reduce the computational cost of our approach by introducing a simple yet effective early termination strategy during the inference procedure. We evaluate the proposed algorithm on three public benchmarks: ActivityNet-v1.3, Mini-Kinetics, and THUMOS'14. Our experiments show that the proposed approach achieves outstanding trade-off between accuracy and efficiency in action recognition.

비디오 콘텐츠(예: 인간 행동이 담긴 내용)를 분석하기 위한 과제 중 하나는 긴 비디오에서 조밀하게 샘플링한 프레임을 처리해야 하는 연산에서 발생하는 높은 계산 비용입니다. 우리는 프레임간의 관련성과 중요성에 따라 개별 프레임에 적합하게 계산 자원을 할당하는 효율적인 동작 인식 알고리즘을 제안합니다. 특히, 본 논문의 알고리즘은 LSTM 기반 정책 모듈을 채택하고 딥네트워크 중간 계층들에서의 추출되는 특징을 기반으로 각 프레임의 유용성을 순차적으로 추정합니다. 특정 프레임이 동작을 인식하는 데 도움이 되지 않을 경우 모델은 나머지 레이어로 기능을 전달하는 것을 중단하고 다음 샘플링한 프레임을 처리합니다. 추론 절차 중에 간단하면서도 효과적인 조기 종료 전략을 도입하여 접근 방식의 계산 비용을 더욱 절감합니다. 제안된 알고리즘을 ActivityNet-v1.3, Mini-Kinetics 및 THUMOS'14의 세 가지 공개 벤치마크에서 평가합니다. 우리의 실험은 제안된 접근 방식이 행동 인식에서 정확성과 효율성 사이의 뛰어난 균형을 달성한다는 것을 보여줍니다.