음악 코멘트 데이터 분석을 통한 음악 대표 구간 검출

Abstract

디지털 음악 시장의 규모는 스마트폰, mp3 플레이어와 같은 디지털 미디어 기기들의 등장과 함께 빠르게 증가하여 2016년 처음으로 물리적 시장의 수익을 넘어섰다. 현재 디지털 음악 시장은 전세계적으로 6.7백만 US달러의 수익을 가진 시장이 되었으며 스트리밍 분야의 45%에 육박하는 높은 성장률에 따라 매해 그 규모가 증가하고 있다. 디지털 음악 시장의 규모가 확대됨에 따라 물리적 시장을 기반으로 했던 이전의 음악 시장에 비해 월등히 많은 수의 음악들이 사용자에게 배포되었다. 하지만 접근 가능한 디지털 음악의 수가 늘어남에 따라 이를 검색하는데 있어 사용자의 부담이 증대되었고 효율적인 음악 정보 검색의 필요성이 대두되었다. 음악 대표 구간 추출은 음악 정보 검색의 중요한 연구문제 중 하나로 음악의 일부만을 추출해 들려줌으로써 전체 음악의 특징을 쉽게 파악할 수 있도록 하는 방법이다. 사용자가 전체 음악을 파악하는데 걸리는 시간을 단축함으로써 음악 정보 검색의 효율성을 높일 수 있다. 음악의 대표 구간을 검출하는 연구로는 음악 요약 연구가 있다. 기존의 음악 대표 구간 추출 연구들은 모두 음악 신호를 기반으로 대표 구간 추출 알고리즘을 제안하였다. 하지만 음악 신호를 이용하는 것은 음악 구조의 경계가 뚜렷하고 구간의 변주가 적은 경우 대해 높은 성능을 보이지만 반대의 경우에는 그 성능을 보장할 수 없다. 또한 음악 구간에 대한 사람들의 선호도를 반영할 수 없다는 한계점을 가지고 있다. 본 연구에서는 대표적인 소셜 음악 스트리밍 서비스인 사운드 클라우드(Soundcloud)의 시간 주석 코멘트 데이터를 활용하여 사용자의 선호를 반영할 수 있는 사용자 기반의 음악 대표 구간 추출 방법을 제안하였다. 코멘트 데이터를 자연어 처리 기법 중 하나인 감성 분석을 통해 코멘트의 감성 극성 값을 구한 뒤 시간에 따른 코멘트 감정 극성 평균을 구해 최고점을 찾고 대표 구간을 추출했다. 또한 코멘트 분포를 시스템에 반영하기 위해 시계열 분석법인 특이 스펙트럼 분석(SSA)을 통해 시간에 따른 코멘트 분포의 비조화 성분들을 제거해 평활화 한 뒤 감성 분석의 결과와 곱해 그 최고점에서 대표 구간을 추출하였다. 추출된 대표 구간들은 사용자 평가를 통해 성능 평가하였다. 5개의 장르에 대해 각각 20곡을 수집하여 45명에게 사용자 평가하였고 이때 피험자는 교내에서 30명을, 교외에서 15명을 모집하였다. 데이터는 모두 해당 장르의 사운드 클라우드 Top 50 차트 에서 수집하였다. 제안 시스템 3가지(감성 분석을 통한 추출, 감성 분석과 단일 스펙트럼 분석을 활용한 추출 방법 2가지)와 미리 듣기(초반 30초), 기존 시스템(음악 썸네일링 알고리즘)에 대해 명료성, 간결성, 전반적인 평가 3항목을 5점 척도 평가하였다. 사용자 테스트 결과 제안 시스템들은 미리 듣기 보다 우수하지만 기존 시스템보다는 성능이 떨어지는 것으로 분석되었다. 또한 제안 시스템간 성능이 통계적으로 유의미한 차이를 보이지 않았고 따라서 추가로 단일 스펙트럼 분석을 활용한 추출 방법이 통계적으로 유의미한 성능 향상을 보이지는 못했음을 확인하였다. 제안 시스템은 모두 사용자평가에서 3점 이상을 보이며 대표 구간으로서 받아들일 수 있다고 평가되었다. 본 연구를 통해 소셜 데이터를 이용한 음악 정보 검색의 새로운 방법론을 제시하며 시간 주석 코멘트 데이터의 음악 정보 검색 활용가능성을 확인하였다. 음악 이외에도 시간 주석 코멘트를 가진 다양한 소셜 멀티미디어 서비스로의 적용을 기대한다.