아티스트 정보 활용을 통한 음악 장르 분류 성능 향상

Abstract

Music genre classification is the task of classifying target music into specific genres such as blues, jazz, classical music, pop, etc. In music genre classification, it is critical to identify and extract the characteristics of each genre by using the fact that each genre has different elements of music. Therefore, the deep learning model in which feature extraction and classification processes are designed through a single model has recently attracted much attention. In this paper, a deep learning model is used to classify music genres.

The majority of deep learning models classify music genres using only the information of songs. However, many people predict the genre of the song only through its artists, which shows high accuracy. Focusing on this point, this paper tries to use artist information, which is sides information, for the classification of music genres through a deep learning model. Confirm through four open datasets that artist information plays a major role in genre classification on four open datasets through genre classification experimental results using only artist information, and propose a graph neural network-based plug-and-play framework that can effectively exploit artist information. This paper compares and experiments with the method of directly providing artist information through artist embedding and the method of indirectly providing it through graph neural networks and presents the limitations of the method of directly providing artist information and the advantages of graph neural networks.

In music genre classification research, deep learning models train musical characteristics by using various data types of music. There are two representative data formats: a type of converting audio data into an image form and a type of converting into a symbolic form. This paper experiments with the proposed framework on open datasets in symbolic and audio forms to verify that the corresponding framework is plug-and-play. In addition, this paper applies the proposed framework to four models that are trained with the corresponding dataset and compares each with the proposed framework results. The four models trained to classify music genres in different ways. Two models were trained with supervised learning, and the other two models were pre-trained with unsupervised learning and then fine-tuned to classify music genres with supervised learning. This paper confirms that the proposed framework is applicable in various environments through models learned in various ways.

음악 장르 분류는 대상 음악을 블루스, 재즈, 클래식, 팝 등과 같은 특정 장르로 분류하는 과업이다. 음악 장르 분류에서는 장르별로 음악적 특성이 다르다는 점을 이용하여 장르별 특성을 파악하고 추출하는 것이 중요하다. 따라서 특징 추출과 분류 과정이 하나의 신경망 네트워크 구조를 통해 해결되는 딥러닝 모델이 최근 많은 관심을 끌고 있다. 본 연구에서는 딥러닝 모델을 활용하여 음악 장르 분류를 한다.

대다수의 딥러닝 모델들은 곡만의 정보만을 활용하여 음악 장르 분류를 시도한다. 하지만 많은 사람은 곡의 아티스트만을 통해 곡의 장르를 예측하기도 하며 이는 높은 정확도를 보인다. 본 논문에서는 이러한 점에 착안하여 딥러닝 모델을 통해 곡의 정보에 사이드 정보인 아티스트 정보를 추가 활용해 음악 장르 분류에 활용하려고 한다. 아티스트 정보가 장르 구분에 주요한 역할을 한다는 것을 아티스트 정보만을 활용한 장르 분류 실험 결과를 통해 확인하고 아티스트 정보를 효과적으로 활용할 수 있는 그래프 뉴럴 네트워크 기반 플러그 앤 플레이 프레임워크를 제안한다. 아티스트 정보를 아티스트 임베딩을 통해 직접적으로 제공하는 방법과 그래프 뉴럴 네트워크를 통해 간접적으로 제공하는 방법을 비교 실험하고 아티스트 정보를 직접적으로 제공하는 방법의 한계점과 그에 대비되는 그래프 뉴럴 네트워크의 장점을 제시한다.

음악 장르 분류 연구에서는 다양한 데이터 형태의 음악을 활용하여 음악적 특성을 딥러닝 모델에 학습한다. 음악 데이터 형태로는 크게 오디오 데이터를 이미지 형태로 변환한 후 데이터로 활용하는 방법과 심볼릭 형태로 변환하여 활용하는 방법 두 가지가 존재한다. 본 연구에서는 해당 프레임워크가 플러그 앤 플레이인 것을 검증하기 위해 두 가지 데이터 형태의 오픈 데이터셋에 대해 각각 제안 기법을 실험한다. 또한, 해당 데이터셋으로 학습하는 네 가지 representation 모델에 제안 기법을 적용하고 비교 실험한다. 네 가지 모델들은 각기 다른 방법으로 곡 representation을 학습했다. 두 가지 모델은 지도 학습 방식(supervised learning)으로 학습했고 나머지 두 가지 모델은 비지도 학습 방식(unsupervised learning)으로 음악적 특성을 사전 학습 후 지도 학습 방식으로 모델을 음악 장르 분류에 맞게 파인 튜닝(fine-tuning)했다. 다양한 방법으로 학습된 모델을 통해 제안 기법이 다양한 환경에서 적용 가능하다는 것을 확인한다.