Integrated Detect-Track Network for Online Multi-Object Tracking in Autonomous Driving Environments

Abstract

본 논문에서는 자율주행환경에서 객체 탐지와 추적을 동시에 수행하는 탐지추적 통합 네트워크를 제안한다. 데이터 연결 프로세스는 탐지추적 통합 네트워크의 탐지와 추적 모듈의 출력을 통합하여 온라인 다중 객체 추적을 수행한다. 객체탐지 결과를 입력으로 사용하는 기존의 다중객체 추적 알고리즘과 달리 제안하는 탐지추적 통합 네트워크는 추적대상의 피처 백터와 현재 프레임 이미지를 입력으로 받아 다중객체추적 결과를 출력한다. 탐지추적 통합 네트워크는 다양한 스케일의 객체 피처를 생성하는 피처 피라미드 네트워크, 추적을 위한 트랙 헤드, 그리고 객체탐지를 위한 탐지 헤드로 구성된다. 트랙 헤드는 입력된 추적대상의 피처 벡터에 해당하는 객체의 위치를 표시하는 가능성 맵인 추적 히트 맵을 생성한다. 추적 히트 맵의 전경 영역은 타원으로 근사할 수 있고, 타원의 중심으로 각 객체의 현재위치를 추적할 수 있다. 탐지 헤드는 특징맵의 각 위치에 대한 탐지 결과를 생성한다. 탐지 점수와 추적 히트 맵을 사용하여 원시 탐지 결과에 포함되어있는 중첩된 탐지결과와 오탐지를 제거한다. 데이터 연결 프로세스에서는 가까운 객체에 우선 순위를 부여하여 자율 주행 차량과 충돌할 가능성이 있는 객체에 대한 추적 신뢰도를 높인다. 실험을 통해 트랙 헤드 결과의 신뢰도를 보여주고, 제안하는 탐지추적 통합 네트워크와 데이터 연결 프로세스가 자율 주행 환경에서 객체 탐지와 추적을 동시에 실시간 이상의 속도로 동작함을 보인다.

In this thesis, we propose an Integrated Detect-Track (IDT) network that simultaneously performs object detection and object tracking in an autonomous driving environment. The IDT network consists of a feature pyramid network to generate object features of various scales, a track-head for tracking, and a detect-head for object detection. Unlike the existing multi-object tracking algorithms that take the object detection results as input to the tracking module, the IDT network yields the tracking heatmaps for the objects via the proposed track-heads and detect-heads by utilizing the tracking object features of the previous frame and the current frame image simultaneously. The track-head creates tracking heatmaps which represent the likelihood map highlighting the location of the object according to the input object features. The foreground area of the tracking heatmap is fitted by an ellipse, and each object center can be determined by the center of the ellipse. The detect-head creates the detection results for each location in the feature coordinate. The overlapped detections and false positives in raw detection results are removed using the detection score and the tracking heatmap. In addition, a new data association process is proposed to match the results of both detect-heads and track-heads to perform the online multi-object tracking. In our data association process, we give a priority to nearby objects, which increases the possibility to track objects that are likely to collide with the autonomous vehicle. Experiments show the feasibility of the proposed IDT network and the multi-object tracking process that perform detection and tracking simultaneously in real-time speeds at the autonomous driving environment.