잔향 환경에서의 사운드 이벤트 분류 성능 개선 기법

Abstract

본 연구에서는 잔향 환경에서의 사운드 이벤트 분류시 성능을 개선하는 기법을 제안한다. 사운드 이벤트 분류는 교통 상황, 방범 상황 감지 시스템 등 다양한 응용분야에 활발하게 적용되고 있고 응용분야의 특성상 실제 환경의 잡음과 잔향에 강인한 성능을 갖는 것이 중요한 문제이다. 하지만 이런 잡음과 잔향 환경에서의 사운드 이벤트 분류 성능 저하에 대한 연구는 저조하며 특히 잔향 환경에서의 사운드 이벤트 분류 연구는 전무한 실정이다. 따라서 본 연구에서는 잔향 환경에서 사운드 이벤트 분류 성능이 저하되는 것을 관찰하고 이를 해결하기 위한 개선 기법을 제안한다. 먼저, 잔향 환경을 모델링 하기 위해 원본 데이터셋을 잔향이 존재하는 실제 환경에서 재녹음한 녹음 테스트셋과 공간 임펄스 응답 데이터셋을 이용하여 합성한 합성 테스트셋을 제작하였고, 이를 이용하여 잔향 환경에서 사운드 이벤트 분류 성능이 저하됨을 관찰하였다. 성능 저하에 대한 개선 기법으로 인위적으로 제작한 가상 공간 임펄스 응답을 이용한 데이터 증가 방법과 공간 임펄스 응답을 네트워크에 컨디셔닝하는 기법을 제안하였다. 실험을 통해 제안한 데이터 증가 방법이 잔향 환경에서의 성능을 개선함을 검증하며, 특히 데이터 증가 방법과 컨디셔닝 기법을 함께 사용했을 때 추가적으로 성능이 향상됨을 보인다. 또한 제안한 컨디셔닝 기법이 정확한 공간 임펄스 응답 오디오를 모를 때라도 대략적 잔향 시간 정보를 통해 성능을 향상시킬 수 있음을 보인다.

In this paper, we propose techniques to enhance performance of sound event classification in reverberant environment. Sound event classification is actively applied to various application fields such as anomaly detection system, and it is important to maintain robust performance in real-world environments. In real-world environments, noise and reverberation are the main factors that degrade the performance of sound event classification. However, the research on sound event classification in noisy and especially reverberant environments is poor. Therefore, in this paper, we observe the degradation phenomenon of sound event classification in reverberant environments and propose performance enhancement techniques for this phenomenon. To do this, we build a test set that models the reverberant environments and observe that sound event classification performance of the test set is degraded. In order to improve the performance, we propose a data augmentation method using an artificially synthesized room impulse response and a method of conditioning the room impulse response to the network. Experimental results show that the proposed data augmentation method improves performance in reverberant environments. It also demonstrates additional performance improvements when using with the proposed conditioning method together. Finally, we show that the proposed method improves the performance by using approximate reverberation time information even when accurate room impulse response audio is not known.