다중 카메라 환경에서의 CNN 기반 물체 검출 알고리즘의 속도 향상을 위한 ROI 추출 및 처리 방법

Abstract

심층학습이론의 발전과 함께 많은 분야에서 심층 학습을 응용하기 위한 사례들이 생겨났다. 그 중 CNN기반 물체 검출 알고리즘을 이용한 대표적인 예시는 Amazon社의 무인 마트인 Amazon Go가 있다. 여러 대의 카메라의 입력을 실시간으로 처리해주는 기술은 무인 마트 설립을 위한 초기 비용 감소를 위해 필수적이다. 최근 CNN기반 물체 검출 알고리즘이 기존 물체 검출 알고리즘에 비해 좋은 물체 검출 성능을 보여주었다. 초기 CNN 기반 물체 검출 알고리즘은 먼저 관심 영역(Region of Interest, ROI)을 찾고 이 ROI들을 입력 받아 물체를 분류하고 물체의 위치를 추정하였다. 하지만 두 단계로 나뉘어져 있는 점에서 실시간 처리에 한계를 보였다. 이후에 단일 단계 검출기인 SSD, YOLO등 단일 이미지를 실시간 처리할 수 있는 CNN기반 물체 검출 알고리즘이 등장했다. 이들은 속도 대비 물체 검출 성능에서 우수함을 보였다. 하지만 그 속도를 개선한 CNN 기반 물체 검출 알고리즘도 단일 이미지만을 실시간으로 처리 가능했다. 이는 저전력 장치를 사용해야하는 상황 또는 여러 대의 카메라로부터 전달되는 영상을 실시간으로 처리하기에는 무리가 따른다. 본 논문에서는 CNN기반 물체 검출 알고리즘의 속도를 향상시키기 위한 새로운 방법을 제안한다. 카메라에서 전달되는 영상에서 ROI를 추출한 뒤 이를 기존 CNN 기반 물체 알고리즘의 입력으로 전달하여 처리하는 방법이다. 더 나아가서 단일 영상에서 ROI를 추출하여 처리하는 방식은 속도 향상이 제한 됨을 밝힌다. 이는 다중 카메라를 사용해야하는 무인 편의점과 같은 상황에서 큰 문제를 야기한다. 본 논문은 다중 카메라 환경에서 ROI를 병합하는 것을 통하여 해결책을 제안한다. 결론적으로 기존 CNN 기반 물체 검출 알고리즘(YOLOv3)대비 평균 1.75배의 속도 향상이 있었으며 정확도는 비슷한 수준을 유지하였다.

Along with development of deep learning, deep learning or CNN-based object detection algorithm is applied in many areas. One of them is Amazon Go which is unmanned store launched by Amazon Corp. Treating many input images from several camera is important for cost efficient aspect. Recent research shows that CNN-based object detection algorithm has shown better detection performance compared to previous object detection algorithms. Early CNN-based object detection algorithms found a region of interest (ROI) and used these ROIs to classify objects and estimate the position of objects. However, they showed limitations in real-time processing because it is divided into two stages. Later on, single-stage CNN-based object detection algorithms that can process single images in real time such as SSD and YOLO came out. They showed excellent speed on object detection performance. However, The CNN-based object detection algorithm that has improved speed was only able to process single images in real time. This cannot process images from multiple cameras in real-time or situations in which low-power devices must be used. This paper proposes new methods to speed up CNN-based object detection algorithms. This is the method that extracts ROIs from images that are transmitted from cameras and sends them to the input of existing CNN-based object algorithms for processing. Furthermore, this paper proved that the method of extracting and processing the ROI from a single image shows the speed improvement is limited. This poses a big problem in situations such as unmanned convenience stores that need to use multiple cameras. This paper proposes a solution through the merging ROIs in a multi-camera environment. Consequently, there was an average speed improvement of 1.75 times over the existing CNN-based object detection algorithm (YOLOv3) with similar accuracy