한국인의 영어발화 대용량 코퍼스를 이용한 전사 평가 연구

Abstract

본 논문은 대용량의 비원어민 발화 코퍼스를 비원어민 전사자가 전사 하는 환경의 전사 평가에서 제기될 수 있는 여러 가지 문제들을 고찰하는 것을 목적으로 한 논문으로서, 한국인이 발화한 영어 발화 대용량 코퍼스 2종을 이용하여 한국인 전사자의 전사 결과를 바탕으로 하여, 일치도, 정 확도 분석, 그리고 비원어민 전사와 원어민 전사 결과를 비교하는 것을 그 내용으로 한다. 전사 평가를 위해서는 한국인 성인 영어 학습자가 발화한 영어 코퍼스 2종에서 498 문장 (세트 1)과 110 문장 (세트 2)을 각각 사용하였고, 음 성학 지식이 있는 한국인 전사자 8명과 원어민 전사자 3명이 전사에 참여 하였다. 음성인식기의 강제 정렬을 통해 표준 발음열을 만들고 이를 전사 자들에게 제공하여 음성 파일과 비교하여 표준 발음열을 수정하는 방식으 로 전사를 시행하였다. 전사 평가를 위해 전체 및 세부 범주별 전사자 간 일치도와 전사자 정확도를 측정하여 문제를 점검하고 전사자 집단 간 통계 적 차이가 있는지 비교하였다. 일치도 분석 결과, 전사자 간 전체 일치도 값은 한국인 집단에서 세트 1과 세트 2가 각각 0.882, 0.888로 나타났다. 세부 범주별로 일치도를 살 펴본 결과, 모음을 전후설로 분류하였을 때 중설 모음과 후설 모음의 일치 도가 낮게 나타났으나, 높이에 따라 분류하였을 때는 일정한 경향성이 나 타나지 않았다. 자음의 경우, 조음 방법과 조음 위치에 따라 분류하였을 때 마찰음과 치음의 일치도가 낮게 나타났다. 전사자 정확도는 정답 전사열을 추출하는 방법에 따라 의견 일치에 의 한 정확도와 다수결에 의한 정확도의 두 가지 방법을 이용하였다. 먼저, 의 견 일치에 의한 정확도 분석 결과, 한국인 전사자 전체 정확도 값은 세트 1과 세트 2가 각각 0.881, 0.884로 나타났다. 다수결에 기반한 정확도 분 석 결과에서는 한국인 전사자 전체 정확도 값은 세트 1과 세트 2에서 각 각 0.927, 0.931로 계산되었다. 세부 범주별로 정확도를 살펴본 결과, 모음의 경우 전후설에 따른 분 류와 높이에 따른 분류에서 의견 일치 기반 정확도 분석 및 다수결 기반 정확도 분석 모두 중설 모음, 후설 모음과 저모음의 정확도가 낮게 나타났 다. 자음의 경우, 조음 방법과 조음 위치에 따른 분류에서 의견 일치 기반 분석과 다수결 기반 분석 모두 마찰음과 치음의 정확도가 낮게 나타났다. 마지막으로 한국인 전사자와 원어민 전사자의 전사 결과가 일치도 및 정확도의 두 가지 기준에서 서로 통계적인 차이를 보이는지 비교 분석하였 다. 먼저, 일치도 검정 결과, 전체 일치도는 집단 간 통계적인 차이를 보이 지 않았고 세부 범주에서는 세트 1의 이중모음과 저모음 및 세트 1, 2의 경구개음에서 전사자 집단 간 유의미한 차이가 나타났다. 정확도 검정 결 과에서는 전체 정확도는 의견 일치에 의한 정확도 및 다수결에 의한 정확 도 모두에서 집단 간 통계적인 차이를 보이지 않았고, 세부 범주에서는 의 견 일치에 의한 정확도의 세트 1의 저모음에서 통계적인 차이가 나타났다. 본 연구는 한국인이 발화한 영어 대용량 코퍼스를 전사할 때 한국인 전사자의 전사 평가에서 제기될 수 있는 문제를 일치도와 정확도의 두 가 지 기준을 이용하여 여러 코퍼스에서 고찰해 보았다는 점과 그동안 일치도 에 국한되어 산발적으로 이루어지던 전사 평가를 정확도까지 종합적으로 고려하여 세부 범주까지 분석하였다는 점, 그리고 대용량 코퍼스 전사 환 경에서의 한국인 전사자의 전사 결과를 일치도 및 정확도 측면에서 원어민 전사자와 통계 비교하였다는 점에서 의의가 있다. 이 결과를 바탕으로 향 후 한국인 발화 영어 코퍼스 전사에서 전사 평가가 낮게 나타나는 범주에 보다 주의를 기울임으로써 전사 품질 향상이 있을 것으로 기대한다.

This thesis aims to consider several issues in non-natives transcription of large vocabulary corpora spoken by non-native speakers. This thesis analyzes agreement and correctness based on the results of transcription by Korean annotators using two kinds of English corpora spoken by Korean speakers, and compares the transcription results between non-native and native annotators. Eight Korean annotators and three native annotators with phonetic expertise participate in the transcription of 498 sentences (set 1) and 110 sentences (set 2) from two corpora. All annotators are provided with forced-aligned phone sequences, which are to be corrected in cases when they are realized differently. I analyze inter-rater agreement and correctness in categories and compare the transcription results between native and non-native annotators for transcription assessment. As a result, the overall inter-rater agreements for the two sets are 0.882 and 0.888. Furthermore, in terms of vowel backness, Korean annotators show low agreement with central and back vowels

however, there is no clear tendency in terms of vowel height. In terms of place and manner of articulation, there is low agreement with dental and fricative consonants. Transcription correctness is divided into correctness based on consensus and correctness based on majority, in accordance with the gold standard extraction method. As for the result of correctness based on consensus, the overall correctness for the two sets is 0.881 and 0.884, whereas the overall correctness based on majority is 0.927 and 0.931. Furthermore, in terms of the backness and height of vowels, annotators show low correctness with central and back vowels, and low vowels. In addition, in terms of place and manner of articulation, low correctness is shown with dental and fricative consonants. Lastly, the transcription results between native and non-native annotators are statistically compared. In the results of the Kruskal-Wallis test for agreement comparison, overall agreement between the two groups is not statistically different. Furthermore, in terms of categorical comparison, diphthongs in set 1 and palatals in set 1 and set 2 are statistically different. In addition, in the results of the Wilcoxon Rank Sum test for correctness comparison, overall correctness is not statistically different between the two groups. In terms of categorical comparison, low vowels in set 1 are statistically different by consensus method. This thesis considered several issues in the transcription assessment of Korean annotators when large-scale English corpora spoken by Koreans were transcribed. Correctness as well as agreement was comprehensively analyzed in detailed categories, and the transcription results between native and non-native annotators were compared in terms of agreement and correctness.