딥러닝을 이용한 음성합성 기술의 군사작전분야 적용

Abstract

본 논문은 딥러닝을 이용한 음성 합성 기술의 군사작전 적용의 가능성을 탐 색하기 위해 음성합성 모형을 이용한 북한말 합성에 관해 연구한다. Tacotron2 를 음성합성 모형로 사용하여 멜 스펙트로그램(Mel-spectrogram)을 생성하였으 며 vocoder로 griffin-Lim 알고리즘과 WaveNet을 사용하여 멜 스펙트로그램을 오디오로 변환한다.두 알고리즘의 비교를 위해 주어진 문장 50개를 각각의 알고 리즘을 이용해 100개의 음성을 만든 후 19명의 성인남녀에게 들려주어 개인별 점수를 임의효과모형(random effect model)을 이용하여 분석하였다. GriffinLim 알고리즘으로 생성한 음성이 우위를 보였으며 추가적인 양질의 데이터를 얻고 조절모수를 최적화하면 실질적으로 군사작전에 적용 할 수 있는 수준으로 개발할 수 있을 것이다

In this paper, we study North Korean speech synthesis using a speech synthesis model to explore the possibility of applying speech synthesis technology using deep learning to military operations. Mel-spectrogram was created using Tacotron2 as a speech synthesis model, and Mel-spectrogram was converted to audio using Griffin-Lim algorithm and WaveNet with vocoder. For comparison of the two algorithms, 50 given sentences were converted using each algorithm. After making 100 voices, they were played to 19 adult men and women, and individual scores were analyzed using a random effect model. The voice generated by the Griffin-Lim algorithm showed the superiority, and by obtaining additional high-quality data and optimizing the adjustment parameters, it could be developed to a level that can be practically applied to military operations.