확률적 모델링을 통한 불확실성 인식 심층 탐지 신경망

Abstract

Object detection combines the localization and classification tasks to classify and localize one or more objects in an image or video data. The development of GPU along with deep learning algorithm has accelerated research of deep learning-based object detection. Recently, deep learning-based object detection achieves a better level of accuracy than humans and has become an essential method in various applications such as autonomous driving systems or unmanned stores. Although object detection combines both the localization and classification tasks, conventional object detection algorithms rely on classification-based confidence score to estimate object category and location information. Conventional method cannot estimate a confidence score of the localization task and therefore it cannot cope with false positive caused by mislocalization. Especially, this problem leads to severe accidents in autonomous driving application, thereby, it is essential to resolve this problem. In addition, conventional object detection algorithms require a large amount of labeled data to obtain high accuracy. While crawling a large amount of image data is a trivial task, labeling these data is an expensive and time-consuming activity. An image typically contains multiple objects, and each object requires a category and a bounding box information. To solve this problem, active learning has been studied actively. However, most of active learning studies for object detection are based on multiple models or are straightforward extensions of active learning for classification, hence using only the classification-based information. Thus, these previous methods require high computing costs and fail to utilize localization-based information for active learning, therefore these methods cannot be a complete solution. As a solution to reduce labeling cost, semi-supervised learning for object detection is also being actively studied. Semi-supervised learning is a method of using labeled data with annotation and unlabeled data consisting only of images in training. In general, the amount of unlabeled data has a much larger than that of labeled data. The conventional semi-supervised learning increases the training time by using all these data during training without grasping the usefulness of unlabeled data, thereby reducing efficiency in training. This dissertation proposes solutions to the three problems mentioned above. First, this dissertation proposes a method of localization uncertainty modeling and novel localization loss function to solve the false positive problem caused by mislocalization. By utilizing the predicted localization uncertainty in the inference step, the proposed method significantly reduces the false positive and improves the accuracy. Second, this dissertation proposes a high accuracy and low-cost active learning method for object detection. The proposed method estimates both classification and localization uncertainties with a single model and a single forward pass, and leverages them in active learning, thereby achieving outstanding performance gains in terms of accuracy and computational cost. Third, this dissertation proposes a method of an uncertainty-based unlabeled data filtering for semi-supervised learning. The proposed method significantly reduces the training time and improves the accuracy by selecting only the unlabeled data that helps to improve the performance of the model. The problems and proposed methods are dealt with in detail in each chapter of this dissertation.

Object detection (객체 탐지)은 이미지 내 여러 물체들에 대해 각 물체의 카테고리 정보를 예측하는 classification과 각 물체의 크기 및 위치 정보를 예측하는 localization이 결합된 문제이다. 딥러닝과 GPU의 발전으로 object detection 알고리즘이 활발히 연구되고 있으며, 최근 object detection 알고리즘은 높은 정확도와 빠른 처리 속도로 자율주행과 무인 편의점 등 실시간 처리 속도를 요구하는 다양한 application에서 그 활용도가 높아지고 있다. Object detection이 classification과 localization task가 결합된 문제임에도 불구하고, 기존 object detection 알고리즘은 classification 기반의 confidence score에 의존하여 물체의 카테고리와 위치 및 크기 정보를 예측한다. Localization 자체에 대한 confidence는 예측하지 못하기 때문에 localization에 의한 false positive에 대응하지 못한다는 문제가 있다. 특히, 자율주행과 같이 false positive로 인해 치명적인 사고가 유발되는 application에서는 이러한 mislocalization 문제를 해결하는 것이 필수적이다. 이뿐만 아니라, object detection 알고리즘은 높은 정확도를 달성하기 위해 annotation된 많은 양의 labeled 데이터를 학습 시 필요로 한다. 일반적으로 학습을 위한 이미지 데이터는 쉽게 수집이 가능하지만, 수집된 이미지에서 여러 물체에 대한 카테고리 정보와 물체의 위치 및 크기 정보를 얻는 것은 굉장히 많은 resource와 시간을 요구한다. 이러한 labeling cost 문제를 해결하기 위해 object detection을 위한 능동적 학습 (active learning)이 활발히 연구되어 왔다. 하지만, 기존의 object detection을 위한 능동적 학습 연구들은 uncertainty 예측을 위해 여러개의 모델을 사용하기 때문에 높은 연산량을 요구한다는 문제가 있으며, 능동적 학습 시 localization 정보는 사용하지 않고 classification 정보에만 의존하기 때문에 완전한 해결책이 되지 못한다. Labeling cost를 줄이기 위한 또 다른 해결책으로 object detection을 위한 반지도 학습 (semi-supervised learning)이 활발히 연구되고 있다. 반지도 학습은 annotation 정보가 있는 labeled 데이터와 이미지로만 구성된 unlabeled 데이터를 함께 학습에서 사용하는 학습 방법이다. 일반적으로 unlabeled 데이터는 labeled 데이터에 비해 데이터 양이 훨씬 많은데, 기존 반지도 학습은 unlabeled 데이터의 유용성을 고려하지 않은 채 모든 데이터를 학습 시 사용한다. 그리하여 학습 시간을 대폭 증가시키는 문제가 있다. 본 논문은 앞서 언급한 3가지 문제에 대한 해결책을 제시한다. 첫째로, localization에 의한 false positive 문제를 해결하기 위해 localization uncertainty 모델링 방법과 이를 학습하기 위한 새로운 localization loss function을 제안한다. 제안 모델링으로 예측한 localization uncertainty를 검출 과정에서 활용하여, localization에 의한 false positive를 대폭 감소시킨다. 둘째로, 저비용 고성능의 object detection을 위한 새로운 능동적 학습 방법을 제안한다. 제안 방법은 능동적 학습 시 classification uncertainty 뿐만 아니라 localization uncertainty를 함께 고려하며, uncertainty 예측 시 single model과 single forward pass를 사용해 기존 대비 연산량을 대폭 줄이면서도 높은 정확도를 달성한다. 셋째로, 반지도 학습에서 uncertainty 기반 unlabeled 데이터 필터링 방법을 제안한다. 제안 방법으로 모델의 성능 향상에 도움이 되는 unlabeled 데이터만을 학습에 사용함으로써 기존 대비 학습 시간을 대폭 감소시키면서도 정확도를 향상시킨다. 앞서 언급한 문제들과 이를 해결하기 위한 제안 방법들을 본 논문의 각 장에서 자세히 소개한다.