MiCrowd: Vision-based Deep Crowd Counting on Extremely Resource-constrained MCU

Abstract

Measuring floating population is a crucial task for urban planning, such as public transportation deployment and maintenance. To ease the process of measuring floating population, this work proposes MiCrowd, a floating population measurement framework on resource-constrained devices such as microcontrollers (MCU). MCUs have been deployed in numerous applications due to their compact size and low cost. We implemented MiCrowd on electric scooters (E-scooters) as one of the target applications to understand its potential. Specifically, MiCrowd provides computer-vision based pedestrian counting by addressing the following important challenges: (1) privacy issues, (2) communication cost, and (3) extreme resource constraints on microcontroller unit (MCU). To this end, we design a lightweight crowd-counting deep neural network, named MiCrowdNet, that enables on-MCU inferences. In addition, our dataset is carefully chosen and completely re-labeled to train MiCrowdNet for counting people from an E-scooter view. Experiments show the effectiveness of MiCrowdNet and our re-labeled dataset for accurate on-device crowd counting.

유동인구 데이터는 대중교통 서비스 등 도시 인프라 계획 및 관리에 중요한 자료로 활용된다. 이 논문에서는 최근 도시 곳곳에서 활용되고 있는 전동 킥보드를 활용한 새로운 유동인구 측정 시스템, MiCrowd를 제안한다. MiCrowd는 전동킥보드에 탑재된 카메라를 통해 주변 도로의 사진을 찍고, 초경량 비전 네트워크 MiCrowdNet을 전동 킥보드 내부 초소형 프로세서 (MCU)에서 직접 구동시켜 인원을 계측한 후 유동 인구 정보만을 서버로 전송한다. 이를 통해 MiCrowd는 (1) 사생활 침해 우려를 최소화하였고, (2) 서버와의 통신 비용을 감소시켰으며, (3) MCU의 제한된 컴퓨팅 자원만으로도 효과적으로 유동인구를 측정할 수 있었다. 또한 이 연구는 최초로 On-MCU inference가 가능한 초경량, 딥러닝 기반 유동인구 측정 모델을 개발하였다는 점에서 의의가 있다. 마지막으로, 기존 유동인구 측정 데이터셋은 E-scooter view, 즉 E-scooter에서 수집되는 데이터의 특성을 반영하지 못했다. 따라서 적절한 데이터셋을 선택하고 레이블링 작업을 다시 수행하여 E-scooter view를 효과적으로 반영할 수 있었다. 직접 구현한 테스트베드를 활용한 실험 결과, MiCrowdNet은 0.07M의 적은 파라미터 수로도 1.12의 MAE를 달성하며 효과성을 입증하였다