콘텐츠 기반의 클래식 음악 자동 분류

Abstract

음악은 상부 층위의 지식, 중간 층위의 콘텐츠, 그리고 하부 층위의 신호 특징 으로 계층화되어 분류될 수 있다. 중간 층위는 음악을 인간과 소통하는 도구로서 음고, 멜로디, 리듬, 음량, 음색, 음가, 텍스쳐, 화성 등으로 표현되며 본 논문에서는 음고, 음량, 음가, 음색, 화성의 다섯 가지 기본 요소를 사용해서 음악 자동분류에 적용하고자 한다. 상부 층위의 지식은 음악에 대한 심리적, 감성적 결과물로서 음악에 대한 감정, 기억, 기대 등으로 음악이 추구하는 목표이다. 중간 층위의 특 성은 음의 크기, 에너지, 주파수 특성, 스펙트럼 등의 하부 층위의 디지털 신호로 변조되어 인간에게 지각되고 음악의 실체를 지각하고 분류하는데 활용된다. 본 연구에서는 딥러닝으로 음악을 분류하는데 있어서 중간 층위의 콘텐츠의 특성과 하부 층위의 신호의 특징의 관계를 변수로 도입하여 그들의 영향을 분석하 고자 한다. 또한 코드 전환 행렬(chord transition matrix)를 이용하여, 화성적인 측면도 고려한다. 이를 위해서는 중간 층위의 특성과 하부 층위의 디지털 신호의 특성과의 상호관계를 도출하고 중간 층위의 특성을 독립적으로 적용하는 것 보다 이들을 통합적으로 함께 적용하는 것이 음악을 자동으로 분류하는 데 더 정확함 을 보여주고자 한다. 장르는 클래식 음악으로 제한하며 2016년 공개된 Musicnet 클래식 데이터 셋을 기반으로 한다. 이를 좀 더 구체적으로 기술하면 (1) 중간 층위의 콘텐츠의 특징과 하부 층위 의 신호의 특징과의 상관관계를 검토하고, (2) 중간 층위의 콘텐츠의 특징을 각각 독립적으로 적용하고 (3) 중간 층위의 콘텐츠의 특징을 통합적으로 모두 적용하여 (4) 2와 3의 결과를 비교하고 이를 작곡자과 앙상블을 딥러닝 기반의 피드 포워드 딥 뉴럴 넷을 이용하여 자동 분류하는데 적용하였다. 실험 결과에서 작곡가 분 류 정확도에서는 음고+음량+음색+음가의 통합적 특징이 57.27%로 가장 높았다. 또한 개별특징 정확도에서는 음색과 관련된 특징이 44.24%로 가장 높았다. 앙상 블 분류 정확도에서도 음고+음량+음색+음가의 통합적 특징이 59.09% 로 가장 높았다. 또한 개별 특징 정확도에서는 음량이 40.75%로 가장 높았다. 본 실험을 통해 중간 층위의 특성을 독립적으로 적용하는 것 보다 이들을 통합적으로 함께 적용하는 것이 음악을 자동으로 분류하는 데 더 정확함을 보일 수 있었다. 본 연구의 결과는 도출된 중간 층위와 하부 층위의 상관관계는 머신러닝에서 하부 층위의 신호에 대한 더 많은 정보를 제공할 수 있을 것이다. 그리고 음악의 중간 층위의 특성인 음고, 음량, 음색, 음가 및 화성을 다각적으로 고려하여 설계하 는 방향성을 제시해 줄 것이다. 또한 음고, 음량, 음색, 음가 및 화성에 영향을 받는 화자 인식이나 화자 프로파일링 같은 분야에 있어서도 의미 있는 결과를 제공할 것이다.