H.264/AVC 영상 압축용 Motion Vector를 이용한 손 추적

Abstract

최근 스마트 TV와 같은 IT 기기에 있어서 사용자에게 편리한 인터페이스를 제공하기 위한 노력이 계속되면서 직관적인 인터페이스 기술을 개발하기 위한 연구가 진행되고 있다. 편리한 인터페이스를 제공하기 위한 연구들 중에 주목 받고 있는 기술이 이미지 센서로 입력된 사람의 손 움직임을 추적하여 명령을 인식하는 기술이다. 손 추적 기술을 구현하기 위하여 본 논문은 H.264/AVC 인코더의 영상 압축 정보를 이용하는 접근법을 제시한다. 국제전기통신연합(International Telecommunication Union, ITU)에서 제정한 동영상 압축 표준인 H.264/AVC는 MPEG-4, H.263 등의 기존 압축 표준에 비해 압축 효율이 향상 되었기 때문에 스마트TV 등의 전자 기기에서 촬영된 대용량의 영상 정보를 저장하거나 송수신하기 위하여 영상을 압축하는데 널리 사용되고 있다. 따라서 스마트 TV와 같은 기기에서 영상 압축을 수행하면서 계산된 데이터를 획득하는 것이 가능하고 이 데이터를 이용하여 손 추적을 수행하고자 한다. 본 논문은 H.264/AVC 인코더의 영상 압축용 Motion Vector를 이용하는 손 추적 알고리즘을 제시한다. 손 추적 알고리즘은 고정된 이미지 센서로 촬영된 영상에서 움직이는 손을 추적한다. 이 영상에는 한 사람의 손이 촬영되었고 배경에는 움직이는 물체가 없는 환경이다. 본 논문은 Motion Vector의 낮은 신뢰성을 보완하기 위하여 Motion Density Map을 제안한다. Motion Density Map은 모든 Object Block에 대하여 움직임 빈도를 나타내는 Mobility를 계산하여 자주 움직인 Object Block을 Moving Object Block으로 결정한다. 따라서 Motion Density Map이 제공하는 Moving Object Block 정보는 신뢰할 수 있는 정보이다. 비록 손에서 발생한 Motion Vector의 정확성이 떨어진다 하더라도 전체 프레임에 대하여 Mobility를 계산하였기 때문에 연속적으로 움직이는 손이 Motion Density Map에 나타나게 된다. 하지만 Motion Density Map의 Moving Object Block 정보만으론 동시에 움직이는 손과 팔을 구분할 수 없다. 이 문제점을 해결하기 위하여 손 추적 알고리즘은 손과 팔의 경계를 유지하면서 추적하는 Histogram Tracker와 손 한정 방법으로 손과 팔을 구분하는 Foreground Block Tracker를 손의 움직임 특성에 맞게 선택적으로 사용하여 이 문제를 해결한다. 마지막으로 Tracker의 오류로 인해 틀어질 수 있는 손 윈도우를 Motion Density Map 정보를 이용하여 보정하여 보다 정확한 손 추적을 가능하게 한다. 손 추적 알고리즘의 성능을 평가하기 위하여 손의 일반적임 움직임 특징이 나타난 5가지 영상이 사용되었다. 손의 일반적인 움직임인 평행이동 움직임, 회전 움직임, 크기 변화 움직임이 나타나는 영상과 3가지 일반적임 움직임이 복합적으로 발생하는 영상을 이용하여 손을 추적하였다. 본 논문에서 제시한 손 추적 알고리즘과 픽셀 단위 RGB 정보를 이용하는 Mean-Shift 물체 추적 알고리즘, 이 알고리즘을 발전 시킨 EM-like Color-Histogram-Based Object Tracking 알고리즘, Motion Vector를 이용하여 움직이는 물체를 인식하는 Vector-Featured Image 정보를 사용한 손 추적 알고리즘을 이용하여 손 추적을 수행하고 결과를 비교하였다.. Ground Truth의 중심점과 알고리즘이 출력한 손 윈도우의 중심점 사이 거리의 평균인 평균 손 윈도우 중심점 에러를 이용하여 성능을 평가하였다. 본 논문에서 제시한 손 추적 알고리즘은 총 평균 11.17픽셀 에러를 내어 가장 좋은 성능을 나타내었다. 이는 이전 연구 사례들 중 2번째로 좋은 성능을 낸 EM-like Color-Histogram-Based Object Tracking 알고리즘의 22.32픽셀 에러보다 2배 좋은 결과이다. 다시 말해 본 논문에서 제시한 손 추적 알고리즘은 손에서 발생하는 일반적은 움직임에 대하여 견고하게 손 추적이 가능하였고 기존 물체 추적 알고리즘의 손 추적 성능에 비해 2배 성능을 향상시켰다고 말할 수 있다.