한국어(KSL) 말하기 평가에서의 채점 경향과 과정 연구

Abstract

This study aims to identify rating tendencies in school-age KSL speaking assessment and to derive useful implications for KSL rater training by identifying factors in the rating tendencies through oral protocols analysis and interviews conducted after rating. In speaking assessment, the rater is one of the factors that can affect the assessment result, and the validity of the evaluation can be secured only when the raters' reliability is secured. Rater training is also an essential factor in assessment validity. Unlike other assessments, the speaking assessment is characterized by the fact that the rater listens to the test takers' performance and score through their memories, so the judgment can vary depending on the test takers' performance that the raters pay attention to and remember. In addition, because raters judge test takers' performance on the basis of rating criteria, their judgement may vary depending on how the raters perceive and apply the rating criteria, which may interact with the test takers' proficiency levels and the characteristics of the items. The speaking assessment for school-age KSL learners is conducted in a small classroom assessment, mainly by Korean instructors and teachers in charge of Korean classes, and the assessment results serve as a basis for future decisions such as promotion or return to primary classes. Teachers who judge KSL learners' abilities mainly perform their roles as educators, so rater training is necessary to diagnose learners' abilities and to perform their roles as raters who provide accurate scores and feedback. Despite the teachers' judgments having a significant impact on assessment results, few studies have focused on KSL teachers' rating practice. In response, this study focuses on the rating practice of the raters in the speaking assessment for KSL learners. To explore the rating tendencies and the rating process of the raters, the speaking assessment tool for KSL learners was devised and confirmed so the tool worked appropriately through classical test theory(CTT) and item response theory(IRT). In the assessment of this study, 15 KSL learners from elementary schools participated as test takers, and six teachers with experience in educating and evaluating elementary KSL learners participated as raters. After the speaking assessment for KSL learners, the rating process report was collected in which the raters verbalized their thoughts during the rating process, along with the scores given to the test-takers. After rating, semi-structured interviews were conducted to identify the raters' previous experiences and perception of rating criteria. Multi-facet Rasch Model(MFRM) analysis was conducted to identify the rating tendencies in KSL speaking assessment. This showed that all the raters tended to be generous overall and that there was a difference in severity among individual raters. Some raters tended to concentrate on a particular score, and one of the raters gave the same score to all the criteria, showing halo. Interaction analysis identified raters who showed bias according to items, test takers and criteria. Next, based on the verbal protocols produced by the raters during the rating process and the raters were interviewed to find out their perception of rating criteria and previous experiences. Through the analysis of the verbal protocols and interviews, it was confirmed that the difference in severity between the raters was due to differences in the perception of the rating criteria. The raters, who showed a tendency to be severe to low proficiency test takers and lenient to high proficiency test takers, judged the proficiency of KSL learners based on the cohesion of contents. Therefore, the rater focused on the cohesion of contents during the test taker's performance, and the impression of this affected the judgement of other criteria. The rater who showed the opposite tendency scored the high proficiency test takers more severely by considering additional criteria such as grammatical accuracy or cohesion of content. We also found cases of harsh rating based on impressions of the performance of cohesion. The rater who tended to focus on middle scale, tended to give three points, referring to subjective criteria such as 'possibility' when rating the performance of test takers with low proficiency. The central tendency of the rater could be interpreted as a result of applying subjective criteria to determine the test takers' performance. Moreover, the fact that the rater felt her rating process was being monitored and the lenient tendency of the rater was also attributable to the central tendency. In addition, the rater frequently referred to the test-taker's "possibilities" in the rating process which can be interpreted as a result of mixed perceptions of assessment purposes by using the formative assessment method in the context of proficiency assessment. Through the analysis of the rating process, it was confirmed that the rater who showed halo gave the same score to all criteria based on the impression of the amount of vocabulary produced by the test-takers. At the end, this study derived implications for training KSL raters through the analysis of rating tendencies and processes, and the goal of KSL rater training. This study is significant in that it devised a speaking assessment tool for KSL learners to conduct a speaking assessment for real-world KSL learners and derived the implications of rater training through the practice of KSL teachers.

본 연구는 학령기 KSL 말하기 평가에서의 채점 경향을 파악하고, 채점자가 채점 과정 중 산출한 구어 프로토콜과 채점 후 실시한 인터뷰를 통해 채점자가 보인 경향의 요인을 파악하여 채점자 교육에 유용한 시사점을 도출하는 것을 목적으로 한다. 말하기 평가에서의 채점자는 평가 결과에 영향을 줄 수 있는 요인 중 하나로 채점자 신뢰도가 확보되어야만 평가의 타당도가 확보될 수 있으며, 채점자 교육 또한 타당도 확보를 위해 필수적인 요소다. 말하기 평가는 다른 영역의 평가와 달리 채점자가 수험자의 수행을 듣고 기억하여 채점한다는 특징이 있기 때문에 채점 과정에서 채점자가 주목하고 기억하는 수험자 수행의 측면에 따라 판단이 달라질 수 있다는 특징이 있다. 또한 채점자는 채점 준거를 근거로 수험자의 수행을 판단하기 때문에 채점자가 평가 구인, 즉 채점 준거를 어떻게 인식하고 적용하는지에 따라 판단이 달라질 수 있으며, 이는 수험자의 숙달도와 문항의 특성 등과 상호작용하여 평가 결과에 영향을 주는 요인으로 작용할 수 있다. 본 연구가 주목한 학령기 KSL 말하기 평가는 한국어 강사와 한국어 학급 담당 교사가 중심이 되어 소규모 교실 평가 방식으로 실행되고 있으며, 평가 결과는 KSL 학습자의 진급이나 원적학급 복귀 등 향후 의사결정을 위한 근거로 활용된다. KSL 학습자의 교육을 담당하는 교사들은 주로 교육자로서의 역할을 수행하기 때문에 학습자의 능력을 진단하고, 정확한 피드백을 제공하는 평가자로서의 역할을 수행하기 위해서는 채점자 교육이 필요한 상황이다. 교사의 판단이 평가 결과에 미치는 영향이 지대함에도 불구하고 교사의 평가 실행에 주목한 연구는 드물다. 이에 본 연구는 KSL 말하기 평가에서의 교사의 채점 실행에 주목하였다. 채점 경향과 채점자의 채점 과정을 살펴보기 위해 본 연구에서는 KSL 말하기 평가 도구를 구안하고, 고전검사이론과 문항반응이론을 통해 KSL 말하기 평가 도구의 기능을 확인하였다. 본 연구의 평가에는 초등학생 중도입국 KSL 학습자 15명이 수험자로 참여하였으며, 초등 KSL 학습자를 교육 및 평가한 경험이 있는 6명의 KSL 교사가 채점자로 참여하였다. KSL 말하기 평가 이후 채점자가 수험자에게 부여한 점수와 함께 채점자들이 채점 과정 중 떠오른 생각을 말로 표현한 구어 프로토콜을 수집하였다. 다국면라쉬모형 분석을 통해 모든 채점자들이 전반적으로 관대한 경향을 보였으며, 개별 채점자들의 엄격성이 서로 다름을 확인할 수 있었다. 일부의 채점자는 특정 점수에 대한 집중경향성을 보였으며. 모든 준거에 동일한 점수를 부여하여 후광성을 보인 채점자도 확인할 수 있었다. 상호작용(편향) 분석을 통해 수험자, 준거, 문항에 따른 편향을 보인 채점자를 확인하였다. 다음으로 채점자가 산출한 구어 프로토콜을 바탕으로 채점자의 채점 과정을 살펴보고, 채점자 인터뷰를 통해 채점자가 가진 채점 준거에 대한 인식과 이전 경험 등을 알아보았다. 채점자의 구어 프로토콜과 인터뷰 분석을 통해 채점자가 보인 수험자 숙달도에 따른 편향의 원인은 채점 준거 인식에서 비롯된 것임을 확인할 수 있었다. 한 채점자는 낮은 숙달도 수험자에게 엄격하고 높은 숙달도 수험자에게 관대한 경향을 보였으며, 낮은 숙달도 수험자의 채점에서 내용 구성 준거를 근거로 다른 준거의 수행에 엄격한 점수를 부여하고, 높은 숙달도 수험자에게는 내용 구성 준거의 수행에 대한 인상을 바탕으로 전반적인 수행 준거에 관대한 점수를 부여함을 확인하였다. 인터뷰를 통해 해당 채점자는 내용 구성 준거를 숙달도 판단 기준으로 인식하고 있음을 확인할 수 있었다. 채점자는 내용 구성 준거를 숙달도 판단 기준으로 가지고 있었기 때문에 수험자의 내용 구성 수행에 집중하였고, 이에 대한 인상이 다른 준거의 판단에도 영향을 주어 수험자 숙달도에 따른 상반된 엄격성을 보인 것으로 판단되었다. 이와 반대되는 경향을 보인 채점자는 높은 숙달도 수험자의 상호작용 준거 채점에서 문법적 정확성이나 내용 구성 여부를 고려하여 더욱 엄격하게 채점하고, 낮은 숙달도 수험자의 채점에서는 반응만으로도 관대한 점수를 부여하였다. 또한 내용 구성 준거의 수행에 대한 인상을 토대로 엄격하게 채점한 사례도 확인할 수 있었다. 3점에 대한 집중경향을 보인 채점자는 낮은 숙달도 수험자의 수행을 평가할 때가능성에 대한 주관적 판단으로 3점을 부여하는 경향을 보였다. 해당 채점자는 점수 결정의 근거가 되는 수험자의 발화가 적어 판단 근거가 부족한 경우, 주관적인 기준을 적용하여 1-2점을 받을 가능성이 있는 낮은 숙달도 수험자에게 관대한 점수인 3점을 부여하여 집중경향성을 보인 것으로 판단된다. 채점 과정에 대한 모니터가 예상되는 상황이라는 점과 채점자 특유의 관대한 경향 또한 집중경향성의 원인으로 설명할 수 있다. 또한 해당 채점자는 채점 과정에서 자신감과 같은 태도나 가능성, 예후 등을 언급하였다. 이는 채점자가 수험자의 현재 수준에 대한 판단이 목적인 숙달도 평가에서 형성평가의 방식을 적용한 것이기 때문에 평가 목적에 대한 인식이 혼재된 것으로 해석할 수 있다. 후광성을 보인 채점자는 수험자가 산출한 어휘의 양에 대한 인상을 바탕으로 전반적인 수행을 먼저 채점한 후 모든 준거에 동일한 점수를 부여함을 확인할 수 있었으며, 인터뷰 분석을 통해 채점자가 준거를 구분하여 점수를 부여하지 않고 전체적인 느낌으로 점수를 부여했음을 확인할 수 있었다. 끝으로 채점 경향 분석과 채점 과정 분석을 통해 채점자 교육을 위한 논의점을 도출하였으며, 이를 바탕으로 KSL 교사 대상 채점자 교육 목표를 제안하였다. 본 연구는 KSL 말하기 평가 도구를 구안하여 실제 KSL 학습자를 대상으로 말하기 평가를 실시하고, KSL 교사의 채점 과정을 분석하여 채점자 교육의 시사점을 도출하였다는 점에서 의의가 있다.