H.264/AVC 정보를 이용한 얼굴 탐색과 추적

Abstract

얼굴 탐색 및 추적에 관련된 연구 분야는 카메라 및 캠코더 기술의 발전, 로봇 비전 분야의 대두, 감시용 시스템의 보급화 등의 시류와 함께 발전해왔다. 그러나 필요로 하는 자원 및 연산량이 많아 소형 내장형 시스템에 구현되기는 힘든 문제점이 존재한다. 본 논문은 H.264/AVC 인코더로부터 얻을 수 있는 움직임 벡터 (motion vector) 정보와 I-매크로블록 (Intra-macroblock) 정보를 이용하여 영상에 새롭게 들어오는 객체를 탐색하고, 그 객체 영역 내부에서 얼굴을 탐색하는 방식을 제안한다. 얼굴이 탐색된 이후에는 추적 알고리즘을 이용하여 해당 얼굴을 탐색 및 추적하도록 한다. 이를 통해 얼굴 탐색 과정에서의 연산량을 감소시킬 수 있으며, 안정화된 탐색 결과를 얻을 수 있다. 본 논문에서 제안한 객체 탐색 방식의 경우 I-매크로블록을 이용하여 영상에 새롭게 등장한 객체를 찾고, 움직임 벡터를 이용하여 탐색된 객체 영역을 확장시킨다. 제안한 객체 탐색 방식은 평균 0.927 의 precision, 0.903 의 recall 수준을 보여준다. 또한 필요로 하는 자원 및 연산량 측면에서는 시간 차분법 (temporal differencing) 과 유사하고, 탐색 결과 측면에서는 배경 차분법 (background subtraction) 과 유사함을 확인할 수 있다. 특히 배경의 혼잡한 움직임이 있는 영상, 패닝 (panning) 카메라의 영상에서 제안한 알고리즘이 우수한 탐색 결과를 보임을 확인하고, 그 이유를 분석하도록 한다. 본 논문에서 제안한 얼굴 탐색 방식의 경우 기본적으로 Viola and Jones 얼굴 탐색기를 이용한다. 이때, 필요로 하는 연산량을 감소시키기 위하여 스킵 방식, 스케일 수 조정 방식 등을 제안한다. 이를 통해 대략 75 만개 정도 필요로 했던 탐색 서브 윈도우 수가 얼굴 하나 당 1,000 개 미만으로 감소함을 확인할 수 있다. 본 논문에서 제안한 얼굴 추적 방식의 경우 기본적으로 H.264/AVC 인코더의 움직임 벡터 정보를 이용하는 Lee et al. 방식을 이용한다. 이때 Lee et al. 의 추적 방식을 보완하기 위하여 H.264/AVC 인코더의 탐색 영역 (search range) 을 이용한 추적 보완 방식, I-매크로블록을 이용한 추적 보완 방식 등을 제안한다. 이와 같은 방식을 이용할 경우 Viola and Jones 방식으로 구한 얼굴의 중심점과 제안한 알고리즘에 의해 탐색된 얼굴의 중심점간의 평균 거리 차이가 대략 1-픽셀 정도임을 확인할 수 있다.