Natural Audio Captioning

Abstract

본 논문은, 오디오 캡셔닝이라는 주제를 최초로 다룬다. 자연에서 발생하는 소리 를 인간의 언어로 표현하는 문제는 아직 아무도 다뤄보지 않은 중요한 문제이다. 새로운 문제를 이해하고 풀기위해선 학습에 있어 가장 중요한 데이터가 필요하 다. 우리는 약 9만3천개 가량의 자연의 소리에 관한 해설을 크라우드 소싱하여 AudioCaps라는 새로운 데이터셋을 구성하였다. 본 논문에서는 철저한 실험들을 통하여 AudioCaps 데이터셋의 높은 품질을 증명하고, 오미오 캡셔닝이라는 새 로운 문제에 어떤 input representation이 적합한지 꼼꼼하게 확인을 해보았다. 추가로, 자연에서 발생하는 오디오의 특징을 발견하여, 2가지의 새로운 테크닉을 선보인다. 첫번째는, Top-Down multi-scale encoder이라는 방법을 통해 오디오의 세부적인 내용까지 학습하는데 고려를 하도록하고, 두번째로는 aligned semantic attention을 통해 오디오와 주어지는 semantic cue가 정렬이 잘 맞을 수 있도록 유도한다. 이 두가지 테크닉을 이용하여, 새로운 state-of-the-art 성능을 갱신해보 인다

We explore the problem of audio captioning: generating natural language descriptions for any kind of audio in the wild, which has been surprisingly unexplored in previous research. We contribute a large-scale dataset of 93K audio clips with human-written text pairs collected via crowdsourcing on the AudioSet dataset. Our thorough empirical studies not only show that our collected captions are indeed faithful to audio inputs but also discover what forms of audio representation and captioning models are effective for the audio captioning. From extensive experiments, we also propose two novel components that help improve audio captioning performance: the top-down multi-scale encoder and aligned semantic attention.