Inference Error Reduction for Parking Occupancy System via Batch-norm Statistics and Confidence Boosting

Abstract

스마트 카메라 주차 시스템의 개념은 수십 년 동안 존재했지만, 시스템의 확장성과 신뢰성을 완전히 다룬 접근 방식은 적었다. 스마트 주차 시스템의 초석은 점유 감지이기 때문에, 현재 대부분의 시스템은 주차 지점 아래에 매설된 센서를 사용해왔다. 하지만, 이는 주차 공간의 수에 따라 가격이 상승하기 때문에 대규모로 솔루션을 확장할 경우 매우 많은 비용이 들게 된다. 또한, 최근 다양한 주차 공간에 CCTV가 설치되고 있는 만큼, 컴퓨터 비전 방식을 통한 점유 감지가 더욱 유리해졌다. 그럼에도 불구하고, 전통적인 방식은 분류 백본을 사용하여 수동으로 레이블이 지정된 그리드에서 지점을 예측한다. 이 과정은 시간이 많이 소요되고 제품화 단계에서 시스템의 확장성을 잃게 된다. 또한 딥 러닝 접근법을 고려할 때, 솔루션이 일부 상황에 대해서만 부분적으로 일반화되어 추론 중에 잠재적인 오류를 많이 발생시킬 수 있다. 이는 스마트 카메라 주차 시스템에서 컴퓨터 비전을 사용하는 이점을 크게 감소시킨다. 이러한 단점들은 이 논문의 주제인 빠르고 추론 오류가 적은 스마트 카메라 주차 시스템을 요구한다. 본 논문에서는 기존 분류 방법을 OcpDet이라는 CNN 감지기로 대체하여 추론 시간을 향상시키고, 엣지 장치들에서 감지를 수행시켜 확장 및 로드 밸런싱이 가능하도록 한다. 따라서 OctDet 백본은 엣지 장치에 적합한 빠르고 가벼운 추론을 위해 Mobilenet을 기반으로 구동된다. 훈련 오류 모듈과 공간 추정 모듈의 정보를 모델에 주입하여 발생 가능한 탐지 오류에 대응하였다. 훈련 정보는 OcpDet의 배치 정규화 통계에서 추출되어 해당 장면이 훈련 지식과 일치하는지 여부를 알려준다. 만약 장면이 도메인 지식을 벗어난다면, 능동 학습 반복 및 추가 검사를 통해 장면을 수집하여 모델을 개선한다. 한편, 공간적 지식은 신뢰도 향상 기법을 통해 추론 중 탐지 오류를 피하고 잘못된 위치의 bounding box를 억제한다. 향상된 결과를 기반으로 장면에 대한 공간 오류는 훈련 오류와 결합되어 결과물에서 포함되는지 여부를 결정할 수 있도록 한다. 구현된 시스템은 기존 PKLot 데이터셋을 기반으로 벤치마크 되었으며 느린 분류 솔루션들과 비교하여 경쟁력 있는 결과를 내었다. 시스템의 확장성과 신뢰성을 측정하기 위해 추가적인 SNU-SPS 데이터셋을 생성해 다양한 시점 및 주차 할당 작업에서 시스템을 평가를 수행하였다. 이러한 작업들을 위해, 서울대 캠퍼스를 둘러싼 다양한 주차장의 다중 엣지 카메라로부터 실험을 수행하였고, message-broker 프로토콜을 통해 주차 감지 정보를 수집하였다. SNU-SPS 데이터셋의 결과는 논문의 접근 방식이 작은 오류 trade-off을 가지고 실제 응용 프로그램에 적용 가능하다는 것을 보여준다.

Although a smart camera parking system concept has existed for decades, a few approaches have fully addressed the system's scalability and reliability. Because the cornerstone of a smart parking system is the ability to detect occupancy, most current systems have used sensors buried under parking spots for this task. However, this is extremely costly when expanding the solution to a large-scale capacity as the price will go up with the number of parking places. Moreover, as CCTV has been installed in various parking sectors nowadays, it would be beneficial to exploit occupancy detection through the computer vision approach. Nevertheless, traditional methods use the classification backbone to predict spots from a manually labeled grid. This process is time-consuming and loses the system's scalability in production. In addition, when considering Deep Learning approaches, solutions will only partially generalize for some situations and can potentially cause numerous errors during inference, which massively reduces the benefits of using computer vision in a smart camera parking system. These drawbacks demand a fast and low inference error smart camera parking system which is the scope of this thesis. In this thesis, the system boosts the inferencing time by replacing traditional classification methods with a CNN detector called OcpDet and operates the detection at edge devices for a scalable and load balancing structure. Therefore, the OcpDet backbone is powered by Mobilenet for fastest and lightweight inference, which is friendly for edge devices. Information from the training error module and the spatial estimation module were injected into the model to tolerate the false detections that can occur. The training information is extracted from the OcpDet's Batch-norm statistics to tell whether the captured scene matches the training knowledge. If the scene is out of domain knowledge, its capture is collected for model improvement through active learning iterations and conducting further inspections. Meanwhile, the spatial knowledge averts false detections and suppresses wrong-located bounding boxes during inference through a confidence boosting technique. Based on the enhanced results, it can be treated as a spatial error for a scene and combined with its training error to decide whether to skip it in the outcome. In the experiment, the system was benchmarked on the existing PKLot dataset and reached competitive results compared to slow classification solutions. To measure the scalability and reliability of the system, an additional SNU-SPS dataset was created, in which the system performance is challenged from various views and conduct system evaluation in parking assignment tasks. For these tasks, a simulation from multi-edge cameras of different parking lots surrounding the SNU campus was conducted, and gathered the parking detection information through a message-broker protocol. The result from the SNU-SPS dataset shows that the thesis's approach is promising for a real-world application with a small error trade-off.