딥러닝 기법을 활용한 비디오 감성 분류

Abstract

모바일 환경의 보편화로 인해 웹의 접근성이 더욱 좋아지면서 많은 소셜 네트워크 서비스(social network service) 들이 등장하였다. 사용자들은 이러한 소셜 네트워크 서비스 안에서 글이나, 사진 또는 비디오 클립을 이용하여 자신의 주관적인 의견이나 정서를 반영하게 된다. 이러한 사용자의 감성 정보를 측정할 수 있게 되면, 개인화를 이용한 추천 시스템이나, 광고 등, 다양한 분야에 적용이 가능할 수 있게 된다. 본 연구에서는 소셜 미디어의 다양한 컨텐츠 중 점차 그 비중이 커지고 있는 비디오에 대한 감성분류 연구를 진행하였다. 비디오 감성 분류에 대한 기존의 연구들은, 대부분 사람의 얼굴 표정에 대한 동적인 변화를 추적하고, 그에 따라 감성을 분류하는 방법을 사용하였다. 하지만, 본 연구에서 사용한 실험 데이터셋인 인스타그램을 통해 확인해 본 결과, 비디오에서 사람의 얼굴이 포함된 비디오는 약 52.4% 에 불과하다는 점을 확인할 수 있었다. 또한, 사람의 얼굴이 포함되더라도 여러 얼굴이 나타나는 경우가 있고, 얼굴이 비디오 전체에서 지속적으로 등장하지 않는 경우도 확인할 수 있었다. 이에, 본 연구에서는 최근 다양한 분야에서 비약적인 성능 향상을 보이고 있는 딥러닝 알고리즘을 이용하여 사람의 얼굴과 관계 없이 보편적으로 사용할 수 있는 감성 분류 모델을 제안하고자 한다. 또한, 본 제안 모델에서는 단일 이미지 프레임 수준에서의 집중 기법(attention mechanism)을 적용할 수 있는 장치를 추가하여 감성 분류율을 향상 시켰다. 감성 정보로는 Thayer의 valence-arousal에 대한 심리학적 감성 모델을 이용하였다. Valence는 감성의 긍정, 부정에 대한 정도를 표현하고, arousal은 감성의 강, 약 등의 세기에 대한 정도를 표현한다. 본 연구의 제안 모델에 대한 평가를 위하여 직접 수집하여 구성한 인스타그램 데이터셋과 Mediaeval 2015 workshop에서 사용되었던 LIRIS-ACCEDE 데이터셋을 이용하여 제안 모델의 우수성을 검증하였다. 본 연구의 의의는 다양한 딥러닝 알고리즘을 유기적으로 연결하여 새로운 형태의 프레임워크를 제시하고 얼굴 등의 특정 개체와 상관없이 분류가 가능하도록 모델을 구성하였다는 데 있다. 또한 프레임 수준의 집중 기법 장치를 마련하여, Mediaeval 2015 데이터셋에서 다른 제안된 방법들보다 가장 좋은 성능의 결과를 달성할 수 있었다. 본 모델을 이용하여 소셜 미디어상의 다양한 비디오 데이터에 감성 분류를 적용함으로써, 추천이나 평판분석 등 다양한 어플리케이션 활용이 가능할 것으로 기대한다.