유연한 신경망 기반 신디사이저를 위한 시간적 동역학 분리

Abstract

Modern commercial synthesizers are the most complicated musical devices for sound design. This research provides users 3 independent parameters which are pitch, instrument, and audio query, which doesnt need much knowledge about sound design. Audio query is needed for extracting the temporal dynamics of input audio, and instrument gives spectral envelope information. Previous neural synthesizers doesnt provide timbre latent space where users can control time and frequency independently. Independent control for timbre with respect to time and frequency makes it possible to synthesize more various timbre and improve reconstruction performance further, which is the first contribution of this paper.

In the second, previous neural synthesizers doesnt verify how expressive their model is with both of acoustic and synthetic sounds.

현대 상업용 신디사이저는 복잡한 조작법으로 인해 비전문가들이 사용하기 매우 어렵다. 따라서, 본 연구는 악기 종류와 참고할 만한 오디오 쿼리(Query)를 입력하여 사용자가 사운드 디자인 지식을 알지 못하더라도, 다양한 음색을 만들도록 하였다. 음색은 스펙트럼 포락선과 시간적 동역학에 대해 학습된 각각의 독립된 잠재공간을 제공한다. 기존의 뉴럴 신디사이저는 음색을 시간과 주파수에 대해서 독립적으로 제어할 수 없었다. 그러나 본 연구에서는 이를 가능하게 하여 더 넓은 차원에서 다양하게 음색을 합성 할 수 있음을 보였고, 더 나아가 오디오 복원 성능이 향상되도록 한 것이 이 논문의 첫 번째 기여다.

두 번째로는 기존 음높이와 음색을 따로 제어할 수 있는 선행 연구들은 어쿠스틱 악기만 혹은 신디사이저 소리만 가지고 음색에 대한 잠재 공간을 학습했지만, 본 연구에서는 합성된 오디오의 표현력을 늘리기 위해, 어쿠스틱과 신디사이저 소리를 모두 네트워크 학습에 사용했다.

본 연구에서는 다양한 음색을 생성하는 뉴럴 신디사이저를 구현하기 위해서, 오디오에서 시간적 동역학 정보를 분리시켜 두 잠재공간에서 사운드 디자인이 가능하도록 했다.