Object Tracking with Low Complexity SIFT Matching

Abstract

컴퓨터 비전분야에서는 지역 불변 특징(local invariant features)들을 이용하여 물체를 인식하는 연구가 다방면으로 진행되고 있다. 인식을 위한 크기, 회전과 관점에 대하여 불변하는 특징을 얻기 위해서는 가우시안 컨볼루션(Gaussian convolution)이나 이것을 근사화 한 방법을 이용하는데, 이는 수 많은 크기에 대한 연산이 필요하다. 게다가 강하고 뚜렷한 특징들을 표현하는 것과 매칭 과정 또한 연산량을 증가시킨다. SIFT는 강력하고 지역 불변한 특징들을 이용하여 스테레오 비전과 물체 인식에 사용되는 영상 매칭에 많이 쓰이는 방법 중 하나이다. SIFT 또한 curse of dimensionality 에 의해 차원이 증가함에 따라 연산량이 지수적으로 증가하는 단점이 존재한다. 따라서 SIFT와 같이 크기와 회전에 불변하는 특징들을 구하는데 에는 많은 연산이 필요하며 이 많은 연산량은 실시간 시스템 구현 시 간과할 수 없는 부분이다. 이 논문은 매칭의 정확성을 향상시키면서도 빠르게 수행하는 방법들을 제시한다. 물체 추적에서 SIFT와 같은 지역 불변 특징들의 장점을 이용하기 위하여, 이 논문에서는 잠정 구역(temporal locality)성과 연속하는 프레임간 일정한 매칭을 위해 radial metric을 이용한 감소된 연산량 추적 시스템(Reduced Complexity Tracking System)을 소개한다. 게다가 descriptor 변형과정(descriptor modification)이 수행되어 다차원수의 오류(high dimensionality errors)를 감소시키고, 정확성과 적은 연산량을 위하여 틀리게 추적된 특징들은 필요에 따라 제거되어 새로운 특징들로 대체된다. 이 시스템은 기존 SIFT를 뛰어넘어 비해 더 빠른 수행시간과 낮은 오차율을 갖는다. 이 Radial Matching의 개념을 확장하여 descriptor없이 연속된 프레임간의 움직임 벡터(motion vector)를 이용하여 참고 특징(reference feature)과 기하학적으로 가장 가까운 특징 후보(candidate feature)를 찾는 Descriptor-Less 매칭 알고리즘을 제안한다. Descriptor-Less 매칭 알고리즘은 SIFT 추적에서 가장 연산이 많은 부분인 descriptor 추출을 하지 않으면서도 매칭 정확성을 저하시키지 않으며, 기존의 SIFT 에 비해 엄청난 매칭 속도 향상을 가져온다. 제안된 Radial Matching 시스템은 로 엔드(low-end)급 Intel Dual Core 환경에서 14-15 FPS로 동작하며, Descriptor-less SIFT 추적 알고리즘(D-Less SIFT tracking)은 같은 환경에서 평균 25 FPS로 동작한다.

Local invariant features as a method for object recognition in images has become a widely researched area in the field of computer vision. The more powerful features which exhibit scale, rotation and viewpoint invariance require expensive scale-space searches which involve Gaussian convolutions or their approximations for detection. In addition, robust, distinct feature description and matching adds to the computational complexity. SIFT is one such robust, local invariant feature popular in image matching for stereo vision and object recognition. It comes with disadvantages such as high computational complexity and suffers from the curse of dimensionality. Features which exhibit scale and rotation invariance, such as SIFT, are notorious for expensive computation time, and often overlooked for real-time tracking scenarios. This paper proposes methods to rectify speed issues, even while improving matching accuracy. In order to harness the power of local invariant features such as SIFT in the realm of tracking, this work introduces a reduced complexity tracking system that exploits temporal locality and uses a radial metric to consistently match features between consecutive frames. In addition, descriptor modifications are performed to rectify high dimensionality errors, and poorly tracked keypoints are pruned and replaced as need, maintaining an ideal count of features in the tracking database for accuracy and low complexity. This system outperforms the standard, naive SIFT tracking system in processing time and maintains better error rates. This radial matching idea is further extended, and a descriptor-less matching algorithm is proposed which is based on finding the geometrically closest candidate to each tracked reference feature in the database using motion vectors between consecutive frames. Descriptor-less matching forgoes expensive SIFT descriptor extraction, which is the most expensive component of the SIFT tracking process, without loss of matching accuracy

D-Less matching exhibits dramatic speed-up compared to traditional, naive SIFT based trackers. The proposed Radial Matching system runs at 14-15 fps on a lowend Intel dual core machine without optimizations. As well, D-Less SIFT tracking runs in real-time on an Intel dual core machine at an average of 25 frames per second.