DeepASMR: 딥러닝 기반의 ASMR 플랫폼

Abstract

최근 ASMR(Autonomous Sensory Meridian Response)이라고 불리는 심리적 안정감을 제공하는 특별한 소리에 관심이 높아지고 있으며 관련 비즈니스도 활발히 시작되고 있다. 그러나 ASMR 음원 개발은 많은 시간과 노력이 필요하여 생산성 문제가 있다. 본 연구는 딥러닝을 이용하여 기존 ASMR 음원들을 모으고 분류하며 사용자의 선호도를 바탕으로 새로운 ASMR 음원을 생성할 수 있는 플랫폼인 DeepASMR을 제안한다. DeepASMR은 ASMR 음원 분류 및 인식을 위해 기존의 음악 인식이나 소음 인식을 위한 DNN보다 개선된 DNN 모델들을 구축하여 분류의 정확도를 95% 이상까지 높였다. 이를 통해 인터넷에 있는 ASMR 음원들을 분류하여 데이터베이스를 만들고, 사용자에게 자극(trigger)이 되는 ASMR을 쉽게 찾을 수 있도록 한다. 또한 DNN을 기반으로 기존 ASMR 음원들을 변형하거나 합성하는 방식으로 새로운 ASMR 음원을 생산한다. 이를 위해 VAE(Variational Autoencoder) 및 GAN(Generative Adversarial Network) 방식을 이용하여 ASMR 음원 생성 DNN 모델을 구축하였다. 이를 통해 생성된 ASMR 음원들을 우리의 분류 DNN 모델에 입력하여 그 정확성을 검증한 결과, 70% 이상의 정확도를 보여 제안하는 DNN 모델이 양질의 ASMR 음원들을 생성하였음을 시사한다.

In the recent decade, a new genre of sounds called ASMR (Autonomous Sensory Meridian Response) became an internet sensation. ASMR refers to a group of special sounds that are known to trigger psychological comfort. ASMR sounds usually refer to everyday noise-like sounds (i.e. tapping or whispering), but quietened and isolated without any background noise. Due to its quality to trigger comfort, ASMR sound is often referred to as a trigger. Attracting millions of people throughout the world, ASMR made its way into various businesses, from being the subject of various television advertisements to creating professions that create quality ASMR sounds. Regardless of the platform, the process of creating quality ASMR sounds brings up the issue of low productivity, due to the excessive amount of time and effort it requires. This dissertation proposes DeepASMR, an ASMR platform based on deep learning that improves productivity of creating ASMR sounds. DeepASMR, uses deep neural networks (DNN) to classify the collected ASMR sounds and create new sounds based on the existing ones. Our proposed DNN model can increase the accuracy of classification of ASMR sounds up to 95%, surpassing the performance of existing DNN models used for urban sound or music classification. With this model, it is possible to efficiently create a large labelled database for various ASMR sounds, which allows users to explore and correctly identify ones triggers. Furthermore, methods for generating new ASMR sounds using DNN by either modifying or merging trigger sounds are proposed. We constructed DNN models for generation using the VAE (Variational Autoencoder) model and the GAN (Generative Adversarial Network) model. Finally, after generating ASMR sounds with our model for each chosen trigger, we fed the generated samples back into our classification model as inputs. This resulted in over 70% in accuracy, indicating our proposed generation model created quality ASMR sounds.