Effects of Machine Translation Instruction on English Writing Revision of Korean Middle School Students

Abstract

기계번역기술이 급격히 발전하며 번역기(MT)를 교육적으로 활용하는 것에 대한 논의가 이루어지고 있으나 여전히 중등 학교 교실에서의 번역기 사용에 대해서는 거의 알려져 있지 않다. 따라서 본 연구는 한국 중학교 영어 학습자들의 번역기 사용을 연구하고자 한다. 또한, 어린 학습자들일수록 번역기 활용에 관한 적절한 지도의 필요성이 크기 때문에, 본 연구는 번역기 활용에 관한 수업이 한국 중학생들의 영어 글쓰기 수정에 미치는 영향을 조사하고자 한다. 본 연구는 부산의 한 중학교에서 진행되었으며, 2개 반, 총 42명의 학생이 그림 기반 글쓰기 과제와 수정 과제를 수행하였다. 글쓰기 과제 후, 실험군 학급은 두 차시에 걸쳐 영작문 수정에의 번역기 활용에 관한 수업을 받았다. 수업은 번역기에 관한 설명, 연구자의 시연, 그리고 연습 활동으로 이루어졌다. 이에 반해 대조군 학급은 번역기를 자유롭게 사용할 수 있도록 노출되었을 뿐 관련 수업은 제공되지 않았다. 번역기 수업의 영향을 연구하기 위해 참가자들의 영작문 결과물과 수정 양상, 그리고 번역기에 대한 참가자들의 인식을 윌콕슨 부호순위 검정과 맨 휘트니 검정을 사용해 분석하였다. 결과 분석에 의하면, 실험군의 경우 철자 오류 및 문법 오류가 크게 줄어든 반면 대조군의 경우 문법 오류만 감소하였다. 또 실험군의 경우 T단위 평균 길이 (mean length of T-unit), T단위 당 절의 수(clauses per T-unit), 절 평균 길이 (mean length of clauses) 모두 변화가 없었던데 반해, 대조군의 경우 T단위 평균 길이와 절 평균 길이가 유의미하게 증가했다. 다만 대조군의 이러한 향상은 개인차가 컸다. 어휘 사용과 관련해서 실험군의 경우 학술어휘(AWL)사용이 유의미하게 증가한 반면, 대조군의 경우에는 단어 사용에 변화가 없었던 것으로 나타났다. 이러한 차이점들은 중학교 학습자들이 번역기를 사용하여 철자 및 문법 오류를 줄이고 보다 학문적인 단어를 사용하여 글을 수정하는데 번역기 활용 수업이 효과적이었음을 시사한다. 다음으로 학생들의 영어 글쓰기 수정 양상에 대한 결과를 살펴보면, 실험군 학생들이 대조군 학생들에 비해 모든 범주에서 유의미한 수준의 높은 빈도를 보여주었다. 단순히 수정 빈도가 높은 것 외에도, 수정 시 특정 수정 단위, 목적, 활동에 제한되었던 대조군 학생들에 비해 실험군 학생들은 다양한 단위의 수정 단위(문자, 단어, 구 등)와 다양한 목적(철자, 어휘, 문법, 표현, 및 내용 추가), 그리고 다양한 활동(추가, 삭제, 대체, 융합)을 보여주었다. 이러한 결과는 번역기 활용 수업이 한국 중학생 학습자들이 보다 적극적이고 다양한 수정 과정에 참여하도록 이끄는데 성공적이었음을 보여준다. 학습자들의 번역기에 대한 인식과 관련하여, 번역기의 유용성, 번역기에 대한 만족도, 향후 번역기 재사용 의향을 살펴본 질문들에 실험군 학습자들은 대조군 학습자들에 비해 훨씬 긍정적인 반응을 보여주었다. 이는 번역기 활용 수업이 학습자들로 하여금 번역기에 대해 긍정적인 인식을 갖도록 하는데 효과적이었음을 나타낸다. 본 연구는 표본 크기와 방법론적 한계를 내재함에도 불구하고, 번역기가 중학교 교실 현장에서 영어 학습을 위한 교육적 도구로 어떻게 활용될 수 있는지에 대한 통찰을 제공한다. 연구 결과를 토대로 교육적 함의와 향후 연구에 대한 제안도 논의하고자 한다.

Based on the dramatic technological improvement on machine translation (MT), a consensus has been established on the necessity of the research on the educational use of the technology. Still, little is known about its use, especially in a secondary school classroom context. Therefore, this study attempts to expand the findings of the previous studies by investigating Korean middle school English learners MT use. Moreover, since it is more of importance to provide adequate MT instruction for younger students in order to train them to use this tool pedagogically, this study aims to investigate the effects of MT instruction on Korean middle school students. This study was conducted at a middle school in Busan, and a total of 42 students from two intact classes participated in a picture-based narrative writing task and a revision task. After the writing task, Class 1 (hereafter, Instruction Group) received two periods of MT instruction before conducting MT-assisted revision. MT instruction includes explanation on MT, the researchers demonstration on using MT outputs as a reference source to revise texts, and a few focused exercises to practice MT-assisted revision. On the other hand, Class 2 (hereafter, No-instruction Group) was not provided with such instruction, rather only provided with the opportunities to be exposed to use MT freely. To examine the effects of MT instruction, writing qualities of the participants writing products, revision behaviors of the participants, and students perception toward MT were analyzed and compared via either Wilcoxon signed-rank test or Mann-Whitney U test. The results showed that spelling and grammar errors significantly decreased in case of Instruction Group, while only grammar errors did so in case of No-instruction Group. Regarding syntactic complexity, Instruction Group showed no change in mean length of T-unit, clauses per T-unit, and mean length of clauses. In contrast, No-instruction Group showed increases in mean length of T-unit and mean length of clauses, but there were differences in quality improvement depending on individuals. Regarding vocabulary use, there was a significant increase in the use of academic words in case of Instruction Group while No-instruction group showed no change in word use. These differences suggest that MT instruction was effective to train middle school learners to use MT to reduce errors and use more academic words. However, it might have an adverse effect that limits students from attempting more sophisticated sentence structures. Next, the results on revision behavior showed that Instruction Group demonstrated more frequent revisions in all categories compared to No-instruction Group at a significant level. In addition to the high frequencies of revising occurrences, another notable finding is that, unlike No-instruction Groups revision, which was limited to a particular type of size (i.e., clause), purpose (i.e., informational), action (i.e., addition), Instruction Group conducted more various revisions with diverse units (i.e., letter, word, phrase, and clause), purposes (mechanic, lexical, grammatical, cosmetic, and informational), and actions (addition, deletion, substitution, and permutation). These results showed that MT instruction was successful in training the participants to conduct revisions more actively. Regarding the users perceptions, Instruction Group participants responded much more positively to the questions that examine MTs usefulness, satisfaction on MT, and intention to use MT in the future than No-instruction Group participants did. The significantly higher scores given by Instruction Group participants showed that they perceived MT and MT-assisted revision more positively than their counterparts. Despite several limitations, this study contributes to an understanding of the effects of MT instruction for English writing revision; MT can be used as a revision tool to improve foreign language writing process even of young beginner students as long as appropriate instruction is provided. Pedagogical implications and suggestions for future research are also identified.