움직임과 영역적 특징 그룹화를 통한 물체 탐지 및 분할

Abstract

물체 탐지 및 분할 (object detection and segmentation)은 영상 감시 시스템에서 가장 기초적인 단계로 물체 추적(object tracking)과 비정상행동 탐지와 같은 상위 알고리즘을 위해 필수적이다. 물체 탐지 및 분할의 목표는 영상에서 관심 있는 물체를 하나의 물체 단위로 영역화하는 것이다. 하지만 카메라의 위치나 각도에 따라 물체의 크기와 모양이 다양하게 변하게 되고 같은 영상에서도 다양한 크기의 물체가 나타나게 된다. 또한 물체 사이의 가려짐 현상은 물체 탐지 및 분할을 어렵게 만든다. 이러한 문제를 해결하기 위한 물체 탐지 및 분할에 관련된 기존 연구는 크게 학습을 필요로 하는 하향 처리 방식과 특징 점 그룹 화를 통한 상향 처리 방식으로 나눌 수 있다. 하향 처리 방식은 학습을 통해 얻은 분류기(classifier)를 통해 물체를 탐지하는 방식이므로 학습된 물체를 정확하게 탐지해 낼 수 있지만 학습된 물체만 탐지 할 수 있는 한계가 있다. 반면 상향 처리 방식은 다양한 물체를 탐지 할 수 있어 영상 감시 시스템에 적합하지만 물체 겹침과 같은 상황에서 과대 분할(over-segmentation)되거나 과소 분할(under-segmentation)되기 쉽다. 본 논문에서는 움직임 특징을 균일 영역을 나타내는 영역적 특징과 함께 사용하여 물체를 한 물체 단위로 탐지 및 분할하는 상향 처리 방식의 알고리즘을 제안하고자 한다. 제안하는 알고리즘은 최적화된 계층적(hierarchical) 물체 탐지 및 분할 알고리즘이다. 첫 번째 단계는 영상에서 기존 MSER(Maximally Stable Extremal Region) [14] 중에서 한 물체 내의 균일한 영역을 나타내는 영역인Leaf-MSER을 정의하고 이를 활용하여 움직임 특징 점을 그룹화하는 단계이다. 이 때, Nomalized-cut을 활용하여 움직임 특징 점을 그룹화한다. 각 노드는 움직임 특징 점이고 노드 사이의 가중치는 Leaf-MSER을 활용한 정보를 사용 한다. 그 다음 단계 그룹화는 에너지 최소화를 통한 물체 단계 그룹화이다. 에너지 최소화 문제를 위해 전경 영역과 움직임 정보에 해당하는 비용 함수를 정의 하였다. 에너지 최소화 문제는 시뮬레이티드 어닐링(simulated annealing) 방법으로 최적 해를 구하였다. 알고리즘의 성능을 검증하기 위해 실제 감시 영상을 사용 하여 실험을 수행 하였다. 이를 통해 제안된 알고리즘의 효율성과 강인성에 대해 검증 하였다.

Object detection and segmentation is a fundamental part in visual surveillance system and essential for upper-level algorithm such as object tracking and detection of abnormal behavior. Its aim is to find interesting objects in video and localize their region. However, size and kind of an object varies depending on the angle and position of the camera. Moreover, object occlusion makes a problem challenging. In this thesis, we present an object detection and segmentation method which group motion and region features. We use Maximally Stable Extremal Regions(MSERs) selectively for grouping motion features, which we term Leaf-Maximally Stable Extremal Regions(Leaf-MSERs); the Region features express homogeneous regions in an object. We propose an optimized multi-level feature grouping approach using Leaf-MSERs. The motion features grouped by one Leaf-MSER represent stable region-level grouping which enables accuracy object detection and segmentation without prior information about size and kind of an object. To find optimal object-level solution, We employ energy minimization using Simulated Annealing(SA). Objective functions are designed to have smaller energy when the motion of groups is more similar and the foreground region between groups is larger. Experimental results from video clips of different angle or position show that our approach achieve robust detection result about large homogeneous region regardless of cameras angle and position.