재즈에서의 코러스 분할 방법

Abstract

통신 기술의 발달과 스마트 기기의 보급은 기존의 음반 위주의 음악산업을 디지털 스트리밍을 통한 음악 대여의 시대로 변화시켰다. 이러한 스트리밍 방식은 사람들이 실시간으로 접속 가능한 음악 라이브러리를 기하급수적으로 팽창시켰고, 이에 따라 음악 정보 검색 연구는 Spotify, Shazam과 같은 다양한 상업 서비스들의 성공을 통해서 나날이 그 필요성을 증명한 바 있다. 그 중에서도 음악의 전체 형식을 분석하는 음악 구조 분석 연구는 음악을 가장 대표할 수 있는 구간을 찾거나 큰 구조를 단위로 재생 또는 브라우징(Browsing) 할 수 있게 하는 등, 음악 정보 검색에 가장 직접적으로 연결되는 연구 분야이다. 본 연구에서는 기존의 음악 구조 분석 연구가 대부분 서양 대중 음악을 대상으로 했던 것과는 다르게 재즈를 대상으로 한 음악 구조 분석 방법을 제안한다. 재즈는 연주와 작곡이 동시에 이뤄지는 즉흥연주 중심의 음악으로서 작곡 중심으로 만들어지는 서양 대중음악과는 음악 구조의 특징이 다르게 나타난다. 재즈 음악은 평균적으로 32마디정도 되는 짧은 악보의 화성 진행이 계속 반복하면서 각 파트의 연주자들이 번갈아가며 멜로디를 즉흥적으로 작곡한다. 이때 이 반복의 기반 및 단위가 되는 악보의 구조와 화성 진행을 코러스라고 부른다. 이 연구에서는 악보에 있는 화성, 마디 길이 정보를 활용하여 재즈 오디오 신호로부터 위의 코러스를 분할하는 것을 목표로 하였다. 다만 재즈는 긴 역사동안 화성을 멜로디로 표현하는 방식에 있어서 많은 발전을 이루어왔는데, 본 연구에서는 화성 변주의 정도가 상대적으로 적은 전통재즈, 스윙, 비밥시대의 연주자를 연구의 대상으로 제한하였다. 이 연구는 악보의 화성이 반복되는 구조를 찾아낸다는 점에서 기존의 오디오-악보 간 정렬 연구와 화성 검출 연구와 유사한 부분이 많은데, 특히 특성 벡터를 추출하는 방법에 있어서 크게 두가지 부분에 대해서 실험 및 적용하였다. 먼저 화성 검출 연구에서 가장 핵심적으로 활용되는 크로마 특성을 본 연구에서도 특성 벡터로 사용하였는데, 이때 일부 화성 검출연구에서 활용되었던 저음역대(55 ~ 220Hz)에서 크로마 특성을 따로 추출하여 일반 크로마 특성과 4가지 방식으로 다양하게 조합하여 그 성능을 실험하였다. 두번째로 화성의 변화가 비트를 단위로 이루어진다고 판단되어 비트 추적 알고리즘을 추가하여 위에서 추출된 크로마 특성들을 비트와 동기화하여 사용하였다. 이와 같이 특성 벡터를 추출한 후, 본 연구는 자기상관함수를 통해 악보에 있는 화성과 오디오 특성 벡터 사이의 유사도가 오디오 신호 내에서 반복되는 주기성을 구하여 코러스의 길이를 구하는 방법을 제안하였고, 이 코러스 길이를 통해서 악보와 오디오와의 상관함수를 구하여 코러스의 시작점을 구하였다. 결론적으로 본 연구에서 제안한 시스템은 최대 0.883의 F-measure 실험 결과를 얻어내어 코러스 분할이 가능하다는 것을 보였고, 다양한 특성 벡터 조합들의 성능 비교에서도 저음역대의 크로마 특성을 일반 크로마 특성과 함께 사용하는 것이 좋다는 것을 밝혔고, 또한 특성 벡터를 비트와 동기화하는 과정에서 중간값을 사용하는 특성 벡터 내에 속한 이상치에 대한 영향을 현격히 줄일 수 있다는 점을 확인할 수 있었다.