영역 분할을 활용한 Hardware 기반 고속 Local Feature Matching

Abstract

최근 디지털 저장 장치와 개인 영역에서도 surveillance system 이 빠르게 늘어남에 따라서, 저장된 이미지 데이터의 양이 급격하게 늘어나고 있으며, 저장된 데이터 내에서 유사 이미지 검색, 분류, 인식 등의 응용이 점차 증가하고 있다. 이와 같은 영상 인식 시스템에서 SIFT local feature 를 이용한 영상 인식 방법은 다양한 영상의 변화에 강인한 특성을 가지기 때문에, 최근 들어 모바일, robot navigation, object recognition 등 여러 분야에서 활용도가 점차 높아지고 있다. 영상 인식 시스템은 많은 양의 연산을 필요로 하는 단계들을 거쳐 수행되기 때문에, mobile 과 같은 제안된 resource 를 가지는 환경에서 고속으로 처리하는데 어려움이 있다. 본 연구에서는 고속으로 영상인식을 수행하기 위한 방법들을 제안한다. SIFT 하드웨어 에서의 속도 향상 방법으로 adaptive SIFT keypoint 생성방법을 제안하였다. Keypoint 의 수는 전체 하드웨어의 수행시간에 영향을 미치는 요소이다. 이를 조절하기 위해 본 연구에서는 블록단위로 영상의 복잡도를 예측하고, 블록의 contrast threshold 값을 달리 적용하여, keypoint 의 수를 조절하는 방법을 사용하였다. 제안한 방법은 SIFT 하드웨어의 pipeline 구조 유지가 가능하고, keypoint 발생 분포면에서 유리한 성능을 보인다. 또한 이를 통해 전체 수행시간을 단축할수 있음을 확인하였다. SIFT 에서 생성된 descriptor 사이에 Euclidean distance 의 유사성을 사용한 matching 방법은 많은 수의 잘못된 correspondence 를 포함하게 된다. 초기의 correspondence 로부터 inlier 와 outlier 를 구분하기 위한 clustering 기반의 feature matching 방법은 이미지내에 모든 correspondence 를 대상으로 clustering 을 수행하므로, 많은 수의 연산이 필요하다. 본 연구에서는 영역 단위로 clustering 을 수행하는 방법을 제안하고, 영역내의 clustering 결과의 집합으로 전체의 결과를 표시하였다. Clustering 을 수행하는 영역은 이미지의 segmentation 정보를 사용하여, 유사한 특성의 correspondence 들을 포함하는 인접 segment 들을 합하여 구성하였다. 제안한 방법은 동등 수준의 성능에서도 수행시간을 크게 단축할수 있음을 확인하였다. Watershed segmentation 방법은 이미지내의 값들을 순차적으로 사용하기 때문에 병렬처리가 어렵다. 본 연구에서는 이미지를 블록 단위로 나누고, 블록간 독립적인 연산을 가능하게 하는 방법을 제안하였다. 블록 단위 연산에서 상호의존적인 부분은 블록 경계면에서의 gradient 값과 인접해 있는 segment 들간의 root 값을 통해 처리하였다. 또한, 하나의 segment 로 예측되는 블록들에 대해선 watershed 의 일부 연산을 수행하지 않도록 하였다. 제안된 방법은 기존 watershed 의 결과와 동일한 수의 segment 를 가지는 것을 확인하였고, 블록별 병렬처리를 통해 수행시간이 줄어드는 것을 확인하였다.