영상의 로컬 피처를 실시간으로 추출하기 위한 하드웨어 구조

Abstract

컴퓨팅 성능의 비약적인 발전과 보급은 컴퓨터 기술의 적용 분야를 데스크탑에서 스마트폰, 스마트 TV, 승용차 등에 이르기까지 폭넓은 범위로 넓히는 결과를 야기했다. 변화된 환경에서 대중은 기존에 없었던 좀 더 혁신적인 기능을 받아들일 준비가 되었고, 이에 부합하기 위해 Computer vision 기술은 점차 상용화의 길을 걷게 되었다. 물체 인식 및 추적, 3D reconstruction 등 폭넓게 응용될 수 있는 computer vision 기술들은 서로 다른 영상 사이에서 동일한 pixel을 찾는 image matching 기술을 필요로 한다. 관련 연구들 중 영상의 크기가 변하거나 회전하여도 안정적으로 matching이 가능한 Scale- Invariant Feature Transform (SIFT) 알고리즘이 제안되었고, 이후 카메라의 viewpoint 변화에도 강인한 Affine Invariant Extension of SIFT (ASIFT) 알고리즘이 제안되었다. SIFT 및 ASIFT 알고리즘은 image matching의 안정성이 높은 반면 많은 연산량을 요구한다. 이를 실시간 처리하기 위해 specifically designed hardware을 이용한 연산 가속 연구가 진행되고 있다. 본 논문에서는 실시간 (30frames/sec)으로 동작 가능한 ASIFT 하드웨어 구조를 제안한다. 이를 위해 첫번째로 SIFT feature를 실시간으로 연산 할 수 있는 SIFT 하드웨어 구조를 제안한다. SIFT 알고리즘은 널리 사용되는 만큼 많은 수의 가속 하드웨어 구조가 연구되었다. 대부분의 기존 SIFT 하드웨어는 실시간성을 충족시키지만, 이를 위해 과도하게 많은 내부 메모리를 사용하여 하드웨어 비용을 크게 증가시켰다. 이 이슈 사항으로 인해 내부 메모리와 외부 메모리를 혼용하는 새로운 SIFT 하드웨어 구조가 제안되었다. 이 경우 빈번한 외부 메모리 사용은 외부 메모리 latency로 인한 동작 속도 저하 문제를 일으킨다. 본 논문은 이 문제를 해결하기 위해 외부 메모리에서 읽어온 데이터 재사용 방안과, 외부 메모리에 저장하는 데이터에 대한 down-sampling 및 less significant bits 제거를 통한 데이터량 감소 방안을 제안한다. 제안하는 SIFT 하드웨어는 Gaussian image를 외부 메모리에 저장하며, 이 경우 descriptor 생성을 위해 local-patch를 읽어오는데 많은 외부 메모리 접근이 발생한다. 이를 저감하기 위해, 서로 다른 local-patch 상의 중복 데이터를 재사용하는 방안과 이를 위한 하드웨어 구조를 제시한다. 또한 Gaussian image의 데이터량 자체를 줄이기 위해 down-sampling 및 less significant bits 제거 방안을 이용한다. 이때 SIFT 알고리즘의 정확도 감소를 최소화하였다. 결과적으로 본 논문은 기존 state-of-the-art SIFT 하드웨어의 10.93% 크기의 내부 메모리만 사용하며, 3300개의 key-point에 대해 30 frames/sec (fps)의 속도로 동작 가능하다. ASIFT 알고리즘 연산을 고속으로 수행하기 위해서는 SIFT 하드웨어에 affine transform된 영상을 제공하는 affine transform 하드웨어가 delay 없이 데이터를 제공할 수 있어야 한다. 하지만 일반적인 affine transform 연산 방식을 이용할 경우 affine transform 하드웨어는 외부 메모리에서 원본 영상을 읽어 올 때 불연속적인 주소로 접근하게 된다. 이는 외부 메모리 latency를 발생시키며 affine transform module이 충분한 데이터를 SIFT 하드웨어에 공급해주지 못하는 문제를 야기한다. 이 문제를 해결하기 위하여 본 논문은 SIFT feature의 rotation-invariant한 특성을 이용하여, affine transform 연산 방식을 변경하였다. 이 방식은 ASIFT 알고리즘이 취하는 모든 affine transform 연산을 수행할 때 연속된 외부 메모리 주소로 입력 영상을 접근할 수 있게 해준다. 이를 통해 불필요한 외부 메모리 latency가 크게 감소된다. 제안된 affine transform 연산 방식은 원본 영상을 scaling한 뒤 skewing하는 연산 과정을 거친다. 본 논문은 이 과정에서 scaling된 영상 데이터를 서로 다른 affine transform 연산에 재활용하는 방법을 제안한다. 이는 scaling 연산량을 감소시킬 뿐 만 아니라 외부 메모리 접근량도 감소시킨다. 제안된 방안들로 인한 affine transform 하드웨어의 속도 향상은 SIFT 하드웨어에 대기 없이 데이터를 공급할 수 있게 해주고, 최종적으로 utilization 향상을 통한 ASIFT 하드웨어의 동작 속도 향상에 기여한다. 결과적으로 본 논문에서 제안하는 ASIFT 하드웨어는 높은 utilization으로 동작이 가능하며, 이로 인해 2,500개의 key- point가 검출되는 영상에 대하여 30fps의 동작 속도로 ASIFT 알고리즘을 수행할 수 있다.