팝 오디오 기반 자동 피아노 편곡

Abstract

음악 편곡 (Music Arrangement) 은 이전에 작곡된 음악의 재개념화로서, 원곡의 음악적 요소를 일부 보존하는 다른 형태의 음악으로의 개작을 의미한다. 그 중에서도 팝 음악의 피아노 편곡 (Piano Arrangement) 또는 피아노 커버 (Piano Cover) 는 널리 향유되는 음악 편곡이다. 그러나 팝 음악 기반의 피아노 편곡의 인기나 중요성에 비하여 그것에 관련된 연구는 부족한 실정이다. 최근 음악정보검색(MIR) 분야는 딥러닝 기반의 연구를 통해 많이 발전하였으나, 팝 음악의 피아노 편곡은 딥러닝 기술을 적용하기에는 충분히 크고 훈련하기에 적합한 데이터셋을 만들기 어려워서 관련된 연구가 부족한 실정이었다. 따라서 본 연구에서는 데이터 집약적인 딥러닝 알고리듬의 잠재력을 활용하기 위하여, 싱크로나이즈된 {피아노 편곡, 팝} 쌍 데이터를 다량으로 만드는 파이프라인을 제안하고, 이 방법으로 만든 약 300시간 분량의 데이터를 PASPA (Piano Arrangement Synchronized to Pop Audio) 라 이름붙였다. 또한 본 연구에서는 딥러닝 기반으로 주어진 팝 오디오를 피아노 편곡으로 생성하는 트랜스포머 모델인 Pop2Piano를 제안한다. Pop2Piano는 지금까지 알려진 한 멜로디나 화음을 추출하는 모듈 없이 직접 팝 오디오로부터 피아노 편곡을 생성하는 첫 모델이다. PASPA로 훈련된 Pop2Piano는 정량평가와 정성평가 모두에서 자연스럽고 듣기 좋은 피아노 편곡을 생성할 수 있음을 확인하였다.

The piano arrangement of pop music is widely enjoyed by people. However, compared to the popularity and importance of pop piano arrangement, there are a few related studies. This is in part due to the lack of large synchronized {Piano Arrangement, Pop} data pairs, which made it difficult to apply the latest data-intensive MIR methods. To leverage the power of the data-driven approach, we make a large amount of paired and synchronized {Piano Arrangement, Pop} data using several MIR algorithms and name this dataset "Piano Arrangement Synchronized to Pop Audio (PASPA)". In this paper, we present Pop2Piano, a neural network that generates piano arrangements given raw waveforms of pop music. To the best of our knowledge, this is the first model to directly generate a piano arrangement from pop music audio without melody and chord extraction modules. Both quantitative and quantitative evaluations show that Pop2Piano trained with PASPA can generate natural and pleasing piano arrangements. In addition, Pop2Piano can control the arrangement style so that piano arrangements can be generated in the style of a particular arranger.