에고센트릭 비디오를 위한 비디오 요약 기법

Abstract

에고센트릭(Egocentric)비디오는 웨어러블 카메라에서 촬영된 1인칭 시점의 영상을 일컫는 것으로서, 오랜 시간 동안 촬영이 이루어지므로 편집되지 않은 긴 영상을 기록하는 특징을 갖는다. 에고센트릭 비디오 요약의 목적은 이러한 특성을 갖는 비디오를 짧고 간략하게 만들면서도 중요한 내용을 포함하는 스토리보드로 표현하는 것이며, 짧은 시간 안에 전체 내 용을 이해할 수 있게 돕는 역할을 한다. 에고센트릭 비디오는 착용자의 움직임에 따라 배경의 변화가 크고 흔들림이 많은 프레임들로 이루어져 있으므로, 정제된 프레임들로 이루어져 있는 영화나 TV의 요약을 위한 기존의 알고리즘들은 에고센트릭 비디오에 바로 적용하기가 어려운 경우가 많다. 최근 이러한 에고센트릭 비디오의 특징을 반영하여 비디오 요약을 하는 방법들이 제시되기 시작하였으나 시간이 매우 많이 든다는 문제를 가지고 있다. 따라서 본 논문에서는 에고센트릭 비디오를 제대로 요약할 수 있으면서도 빠른 처리 속도를 가지는 알고리즘을 제안한다. 구체적으로, 제안한 방법에서는 자주 나오는 중요한 프레임(frame) 들을 뽑아내기 위하여 컬러 히스토그램(color histogram) 기반의 스펙트럴 클러스터링(spectral clustering)을 수행한 후, 클러스터 별로 평균과 가장 가까운 프레임을 뽑아 후보(candidate) 프레임들로 정하며, 이들의 블러(blur), 컨트라스트(contrast), 스큐(skew)와 같은 화질에 관련된 측정값을 계산하여 이 값이 좋지 않은 프레임 들은 후보에서 제외한다. 마지막으로, 후보에 남은 프레임들에 대하여 시프트 특징점(SIFT feature)과 컬러 히스토그램을 뽑아서 이벤트(event)와 클러스터(cluster)로 나눈 후 그래프 매칭(Graph matching)을 적용하여서 최종 요약 결과를 얻는다. 실험 결과, 제안된 방법은 기존의 에고센트릭 비디오 요약 방법에 비하여 처리 시간을 줄여서 빠른 요약 결과를 얻을 수 있었으며 그래프 매칭을 통하여 클러스터들 간의 관계를 반영하면서도 블러, 컨트라스트, 스큐 면에서 화질도 좋은 값을 가지는 최적의 프레임들을 요약 결과로 얻을 수 있었다.

An Egocentric video is a long unedited video that offers a first-person view. The purposes of egocentric video summarization are to make storyboard that includes important things and to help understand entire contents in a short time. Egocentric video recorded by wearable camera is consisted of frames whose background is constantly changing and moving. Since existing methods assume stable background, they are not suitable for the summarization of egocentric video. Recently, new summarization methods have been proposed to support egocentric video, but they take very long time to summarize. Therefore a new video summarization method is proposed in this thesis, which can summarize egocentric video well with considerably low computational loads. Specifically, to get important frames that frequently appear, we use spectral clustering with color histogram and select frames that have shortest distances from each of the clustering means as candidate frames. Next, blur, contrast, and skew of candidate frames are computed and then the frames having low values are removed from the candidates. Finally, features are extracted using sparse codes of SIFT from remained candidate frames and they are divided into clusters, and then final summarization result is obtained by graph matching. The experimental results show that the proposed method is faster than existing egocentric video summarization methods and produces optimum frames as summarization result. The result frames reflect relationship between clusters while having good quality in blur, contrast and skew.