Efficient CNN-based detection of occluded and nearby objects

Abstract

Object detection은 Computer vision에서의 중요한 연구 분야로 영상에서 물체의 종류, 위치, 개수 등을 인식한다. 이러한 인식에는 CNN(Convolutional Neural Network)에 기반을 둔 방식이 널리 사용되고 있으며 전반적으로 만족할만한 성능을 보여준다. 하지만 전통적인 CNN 방법은 물체 영역을 rectangle 단위로 검출하며 rectangle 영역의 겹침 정도에 따라 독립적인 물체로의 판단 여부를 결정한다. 이러한 방법으로 인하여 물체의 겹침, 근접정도, 각도에 따라 물체의 개수를 정확하게 인식하는 데에는 한계가 존재한다. 이를 해결하기 위한 방법 중 하나는 training 과정에서 물체의 겹침이나 각도 등을 학습하게 한다. 하지만 이러한 방법은 dataset 구축과 학습에 상당한 시간을 필요로 하는 단점이 있다. 본 논문에서는 전통적인 CNN 인식 결과를 algorithm로 후처리 하는 방식을 제안한다. 물체의 각도에 따라 검출 영역이 다를 수 있다는 점에 착안하여 하나의 영상에 대하여 다양한 회전영상을 생성하여 물체의 영역을 검출하고 이 영역들의 확률과 상관관계 등을 종합적으로 판단하여 물체의 개수를 판단한다. 이 방법은 초기 성능 평가 결과 기존 방법 대비 향상된 성능을 보여준다.

Object detection, which primarily recognizes the category, location, and the number of objects in an image, is an important research field of computer vision. Recently, the state-of-art object detection network mainly take advantage of Convolutional Neural Network(CNN) algorithm and generally get better performance compared to traditional non-CNN-based object detection algorithms. However, when objects in image are overlapped with or close to other objects, the CNN-based network cannot generate accurate bounding boxes, and the network sometimes even generates extra wrong or useless bounding boxes that leads to wrongly counting how many objects in image. This work proposes a post processing algorithm for improving the detection accuracy and eliminating the wrong and redundant bounding boxes. The post processing algorithm consists of three steps: First, rotating the image with arbitrary degree and inputting the rotated images and original images into CNN network to generate enough bounding boxes from original and rotated images. Then, mapping all bounding boxes in rotated images back to original image with proposed bounding box mapping algorithm. However, with the increase of rotated images, the inference time increase as well. Hence, this work proposed a separated YOLO, which uses a tiny YOLO to determine the ROI, then uses another smaller YOLO to do the bounding boxes prediction. By this way, the inference time is decreased significantly. Finally, using proposed non-maximum suppression(NMS) algorithm to eliminate the redundant bounding boxes. With post-processing algorithm, the detection accuracy increase significantly.