딥러닝을 이용한 멜로디 진행에 따른 코드 생성 연구

Abstract

멜로디로부터 어울리는 코드를 찾아내는 것은 화성학과 같은 전문적인 음악 지식이 필요한 예술적인 과정이다. 이는 작곡을 하는 방법 중 한 가지로서 중요한 역할을 하지만 전문 지식이 없는 일반인은 적용하기 힘든 과정이라 할 수 있다. 코드는 일반적으로 동시에 3개 이상의 음이 발생할 때 정의되는 반면 멜로디는 시간에 따라 한 개의 음으로만 구성되기 때문에 멜로디 진행에 적합한 코드를 자동으로 추정하는 시스템을 구현하는 것은 쉽지 않다. 이러한 어려움을 극복하기 위해 기계 학습을 이용한 자동 코드 생성 연구가 진행되어왔으며, 많은 연구들이 음악의 순차적인 정보를 학습하기 위하여 은닉 마르코브 모델(HMM)을 적용하였다. 하지만 해당 방식은 모델의 가정에 의해 멜로디 진행의 연속성과 코드 진행의장기 의존성을 적절하게 반영하지 못하는 한계점이 존재한다. 따라서 본 연구에서는 음악의 시간 의존성을 잘 모델링 할 수 있는 방법으로 딥러닝 알고리즘을 적용한 방식을 제안한다. 이를 위해 대량의 디지털 악보 데이터로부터 음악정보를 추출하여 학습 데이터를 구성하였으며 심층 신경망 모델(DNN)과 순환 신경망 모델(RNN)을 적용하여 멜로디와 코드간의 관계를 형성하는 네트워크를 학습하였다. 제안하는 방식을 기존 알고리즘과 비교한 결과, 보유한 데이터 셋 내에서 코드 추정 정확도가 약 6~9% 증가하였으며, 출력된 코드 진행과 멜로디의 어울리는 정도를 5점 척도로 평가한 사용자 설문조사에서도 약 1점 차이의 더 높은 점수를 얻었다. 이를 통해 멜로디로부터 코드를 생성하는 시스템에서 딥러닝 적용 방식이 기존의 방식을 대체할 수 있는 가능성이 있음을 확인할 수 있었다.