Musical Signal Processing based on Non-negative Matrix Factorization

Abstract

This dissertation introduces an automatic polyphonic music transcription algorithm and a sound source separation algorithm for one-channel music signals based on non-negative matrix factorization (NMF). NMF is frequently used for data minimization, feature extraction, and data classification of various signals such as neural, image, text, and acoustic signals because of its fast and accurate performance when compared with those of other adaptive algorithms. In this thesis, NMF is used for musical signal processing, and further, a modified matrix factorization method that accurately reflects the characteristics of a musical signal is proposed. Subsequent to NMF, a post-processing algorithm that is appropriate to the musical signal is also proposed for better performance in music transcription and source separation. Automatic polyphonic music transcription is the process of the analysis of a musical signal to extract the pitch component (the fundamental frequency), onset time, and time duration for a given music score. For polyphonic music transcription, NMF with harmonicity and temporal continuity constraints is proposed for more accuracy in musical signal separation. The fundamental frequency estimation and onset detection algorithms are also proposed for enhanced transcription performance. Monaural musical sound separation is the process of separating each instrumental sound from a sound mixture of several instrumental sounds. In general, most sound separation algorithms use the difference of the received sound from more than two microphones. However, in this thesis, we propose sound separation of a signal obtained from one microphone, thereby placing no restriction of the number of the microphones that can be used. The sound separation algorithm with NMF consists of the separation stage (the decomposition of the sound mixture into several frequencies) and the clustering stage (the clustering of the separated frequencies that are part of the same instrumental sound track). In this thesis, the effective timbre features for clustering are proposed to enhance the overall source separation performance. Simulation experiments of polyphonic music transcription and monaural sound separation are carried out using our proposed algorithm and conventional algorithms, and it is observed that our proposed algorithm provides a better performance.

본 논문은 비음수 행렬 분해 방식에 기반한 자동 다성 악보 전사 알고리즘과 단일 채널 음악 신호 분리 알고리즘을 소개한다. 비음수 행렬 분해 방식은 다양한 적응 알고리즘들 중에서 빠르고 성능이 좋은 장점 때문에 신경 신호, 영상 신호, 문자 신호, 음향 신호 등 다양한 신호들의 데이터 최소화, 특성 추출, 분류에 주로 사용되고 있다. 본 논문에서는 음악 신호 처리에 비음수 행렬 분해 방식을 사용하였고, 음악 신호의 특징을 반영한 수정된 행렬 분해 모델을 제안하였다. 또한, 비음수 행렬 분해 이후, 음악 신호 처리에 적합한 후처리 프로세스를 제안함으로써 악보 전사 및 음원 분리의 성능을 높이고자 하였다. 자동 다성 악보 전사란, 음악 신호를 분석하여 음고에 해당하는 기본 진동 주파수와 해당 음의 시작 시간과 지속 시간에 대한 정보를 추출하여 악보화 하는 작업을 일컫는다. 본 논문에서는 다성 악보 전사를 위하여 음악 신호 분리에 적합한, 배음 성분과 시간적 연속성을 고려한 비음수 행렬 분해 방식을 제안하였다. 뿐만 아니라 기본 진동 주파수 예측 알고리즘과 음의 시작 시간 탐지 알고리즘도 함께 제안함으로써 전반적인 악보 전사의 성능을 향상시키고자 하였다. 단일 채널 음악 음원 분리란, 여러 악기 소리가 섞여 있는 음원으로부터 각각의 악기 소리를 분리하는 것이다. 대부분의 음원 분리 알고리즘들은 두 개 이상의 마이크에 수신된 소리의 차이를 이용하는 방식이다. 그러나 본 논문에서는 녹음 마이크 개수에 대한 제약이 없는, 하나의 마이크에 수신된 음원을 분류하고자 하였다. 비음수 행렬 분해 방식을 이용한 음원 분리 알고리즘은 여러 악기 소리를 여러 개의 주파수로 분리 하는 단계와 분리된 음들을 같은 악기 소리끼리 묶기 단계로 이루어진다. 본 논문에서는 분리된 악기 소리들로부터 묶기의 성능 향상에 효과적인 음색 특성들을 제안하였고, 제안한 음색 특성들을 이용하여 전반적인 음원 분리 알고리즘의 성능을 향상시키고자 하였다. 제안한 알고리즘과 기존의 알고리즘을 이용하여 다성 악보 전사 및 단일 채널 음원 분리 성능 실험을 실시하였고, 제안한 방식의 성능이 향상됨을 확인하였다.