KL-Divergence-Based Region Proposal Network for Object Detection

Abstract

The learning of the region proposal in object detection using the deep neural networks (DNN) is divided into two tasks: binary classification and bounding box regression task. However, traditional RPN (Region Proposal Network) defines these two tasks as different problems, and they are trained independently.

In this paper, we propose a new region proposal learning method that considers the bounding box offset's uncertainty in the objectness score. Our method redefines RPN, which consisting of binary classification and bounding box regression task to a problem of minimizing the KL-divergence, which difference between two probability distributions. For the positive sample, we targeted the Dirac delta function that mean is offset from the ground truth bounding box and for the negative sample, we targeted the Gaussian distribution with a large standard deviation so as to deem uniform distribution which has the same probability at all values. Instead of the objectness score learned with cross-entropy, the standard deviation is applied to RoI (Region of Interest) 's objectness score to consider the bounding box offset's uncertainty. And then, we use this new objectness score at the NMS (Non-Maximum Suppression) post-processing.

We applied KL-RPN, which performs region proposal using KL-Divergence, to the existing two-stage object detection framework and showed that it can improve the performance of the existing method. Experiments show that it achieves a 2.6% and 2.0% AP improve on MS COCO test-dev in Faster R-CNN with VGG-16 and R-FCN with ResNet-101 backbone, respectively.

심층 신경망 네트워크(Deep Neural Network)를 사용하는 객체검출 알고리즘에서 후보영역 추출의 학습은 2가지의 문제로 나뉜다. 바로 이진 분류(Classification)와 박스 좌표 회귀(Regression) 문제이다. 하지만 기존의 후보영역 추출네트워크(Region Proposal Network)는 이 2가지 문제를 다른것으로 간주하고 그들은 독립적으로 학습된다.

본 논문에서, 우리는 객체 스코어에 박스 좌표 차이의 불확정성을 고려한 새로운 후보영역 추출 학습 방법을 제안한다. 우리의 방법은 객체 분류와 박스 좌표회귀 문제로 구성된 기존의 후보영역 추출네트워크를 두 확률분포간의 차이를 나타내는 쿨백-라이블러 발산을 최소화하는 문제로 재 정의한다. 맞는 예제(Positive sample)에 대해서는 정답박스와의 차이를 평균으로 갖는 디랙 델타(Dirac delta) 함수를, 틀린 예제(Negative sample)에 대해서는 모든 값에서 같은 값을 갖는 균일 분포(Uniform distribution)로 간주할 수 있는 표준편차가 큰 가우시안(Gaussian)을 타겟으로 주었다. 교차 엔트로피(cross-entropy)로 학습되는 객체 스코어 대신에, 박스 좌표 차이의 불확정성을 고려하기 위해 표준편차가 후보영역 후보들(Region of Interests)의 객체 스코어에 적용된다. 그 후, 우리는 이 새로운 객체스코어를 후처리인 NMS에 적용한다.

우리는 쿨백-라이블러 발산을 이용하여 후보영역 추출을 학습하는 KL-RPN을 기존의 이단계 객체 검출 알고리즘에 적용하였고 이것이 성능향상을 할 수 있는 것을 보였다. MS COCO test-dev에서 실험결과 VGG-16을 사용한 Faster R-CNN으로 2.6% AP, ResNet-101을 사용한 R-FCN으로 2.0% 향상을 확인하였다.