A Real-Time Analysis of Korean EFL Students' Speech Fluency

Abstract

유창성은 제 2언어 평가에서 중요한 평가 기준의 하나이다. 제 2언어 유창성 평가에 영향을 미치는 언어적 특성과 요인들을 밝히기 위해 많은 양적 연구들이 시행되어 왔다. 유창성을 구성하는 언어적 특성들을 분석하고 정리하는 선행 연구들을 통해 말하기 평가의 준거로써 유창성의 개념을 이해하고, 평가 기준을 정립할 수 있다. 그러나 공인 영어 인증 시험이나 수업에서의 말하기 수행평가처럼 현재 대부분의 영어 말하기 시험의 평가는 아직은 채점자들에 의해 이루어지는 경우가 많다. 따라서 채점자들이 학습자들의 유창성을 어떻게 인식하고 있으며 실제 시험 평가 상황에서 학습자들의 유창성 평가가 어떻게 이루어지는지 채점자의 시각을 분석해보는 것은 유의미하다. 본 연구는 유창성 평가에 대한 객관적인 언어적 특성을 분석하기보다는 채점자들의 주관적인 인식과 해석에 초점을 두고, 채점자들이 시험 상황에서 학습자들의 유창성 영역의 평가를 어떻게 이해하고 적용하는 지를 구체적으로 파악하고자 하였다. 유창성에 영향을 미치는 요인들과 평가 점수를 비교하는 기존 연구들과는 달리, 본 연구에서는 평가자들의 유창성에 대한 인식이 실시간으로 어떻게 변화하는 지를 Idio-dynamic software와 stimulated interview를 통해 심도 있게 살펴보았다. 이를 통해 채점자들이 제 2언어 유창성을 평가할 때 어떤 관점으로 접근하는지 살펴보고, 유창성 평가에 영향을 미치는 요인들이 무엇 이라고 채점자들이 인식하고 있는지, 그리고 이런 채점자들의 특성이 말하기 시험의 유창성 점수에 어떤 영향을 미치는지를 분석하였다. 본 연구는 채점자들의 실시간 평가 변화를 추적하여 제 2언어 학습자들의 발화에서 어떤 언어적 특징들이 유창성 평가에 영향을 미치는지 분석하였다. 7명의 채점자가 영어 말하기 능력이 각기 다른 6명의 학습자의 영어 말하기 수행을 듣고 유창성을 평가하였다. 학습자들은 그림 묘사하기와 주제에 대한 의견 말하기 과제를 수행하였고, 채점자들은 이 학습자들의 발화를 들으면서 Idio-dynamic Software를 사용하여 실시간으로 유창성이 증가하는지 감소하는지 표시하였다. 채점자들은 각각의 과업에 유창성 점수를 부여한 직후(1-9), 연구자와 면담을 통해 어느 부분에서 유창성이 증가했다고 혹은 감소했다고 평가했는지 그 이유에 대해 설명하였다. 채점자들은 각자가 고수하는 유창성에 대한 정의에 따라 채점기준을 세우고 적용하였다. 채점자들의 유창성 판단은 학습자의 발화를 듣는 동안 고정되어 있거나 한 번의 총체적인 평가로 이루어지기 보다는, 계속적으로 변화하는 유창성의 정도를 종합하여 결정된다고 볼 수 있다. 채점자들은 학습자의 발화를 듣는 동안 여러가지 요소를 고려하여 실시간으로 그리고 계속적으로 유창성을 평가하는 모습을 보였다. 유창성 평가에 영향을 미치는 요인들은 발화속도, 휴지, 자기수정, 문법과 발음의 정확성, 그리고 발화의 자동성으로 정리할 수 있다. 이 요인들은 독립적으로 유창성 평가에 적용되기 보다는 몇 개의 요소가 한꺼번에 언급되거나 이 요소들 사이의 적절한 균형이 강조되는 경우가 많았다. 다시 말해 채점자들이 유창성 평가에서 고려하는 발화 특징들은 서로 연결되고 결합되어 있어서 각 특징들이 명확하게 분리되어 채점기준으로 적용되고 있다고 보기 어렵다. 채점자들이 학습자들의 발화를 소리로만 듣고 평가를 하는 경우와 학습자가 발화하는 장면을 비디오로 보고 평가하는 방식을 비교했을 때, 유창성을 인식하는 데에 어떤 차이점이 있는지 함께 분석하였다. 비디오와 오디오를 이용한 채점 방식의 차이가 유창성 점수에 통계적으로 유의미한 차이를 가져오지는 않았지만, 유창성 평가에 영향을 미쳤다고 채점자들이 언급한 언어적 특징은 평가 방식에 따라 달랐다. 채점자들은 소리로만 듣고 채점할 때 문법적인 오류나 발음 오류에 더 민감하였고, 화면을 보면서 채점할 때 발화속도나 휴지 현상에 더 많은 주의를 기울였다. 그리고 소리로만 듣고 평가할 때 문장의 문법적인 오류에 대해 세세하게 설명하던 것과는 반대로 화면을 보고 평가를 할 때는 발화에 대한 전반적인 인상에 대해 더 많이 언급하였다. 그러나 유창성 평가의 기준으로 언급된 발화의 특성들은 그 테마(theme)에 있어서 유사하였고, 독립적으로 인식되기 보다는 서로 결합되어 평가에 적용되었다는 점에서, 본 연구는 두 평가방식의 차이점 보다는 유창성 평가에서 채점자들이 보여주는 평가 과정의 특징들에 더 초점을 두었다. 채점자들의 점수는 채점자간 신뢰도를 유지할 정도로 일관되었던 것에 반해, 평가 과정에서 언급되는 평가의 이유는 매우 다양하였다. 이는 비원어민 채점자들이 영어 말하기 시험에서 유창성을 인식하고 평가하는 것이 얼마나 복잡한 과정을 거쳐 이루어지는 것인지를 보여준다. 게다가 채점자들이 얼마나 다양하게 유창성이라는 개념에 접근하는지를 보여주고, 채점 과정에서 유창성을 독립적으로 평가하는 것에 대한 한계를 보여주고 있다. 그러므로 영어 말하기 평가에서 유창성 평가에 영향을 미치는 주요 변인이 포함된 채점 기준을 찾는 방안에 대한 논의가 필요하고, 구체적인 채점 기준을 적용하도록 하는 채점자 안내와 연수가 필요하다.

핵심어 : 영어 말하기 유창성, 유창성 평가, 유창성 인식, 실시간 평가, 평가 방법

The oral fluency of a second language (L2) speaker is often used as a criterion in the second language assessment. A number of studies have investigated the characteristics and features of L2 fluency within the quantitative paradigm. The present study extends the field by analyzing raters' perceptions of L2 fluency during evaluation from a qualitative perspective. While previous quantitative studies have attempted to determine the factors or variables which influence L2 fluency, the present study focuses on L2 raters subjective perception of speech features used as the criteria for rating fluency. Using Idio-dynamic software and stimulated interview skills, the raters real-time assessment process is investigated and the raters constructions of fluency profiles are examined. This study investigated the features of L2 learners' oral production that influence perceptions of L2 fluency in the speaking test. Listening to audio clips of six Korean college students with varied English proficiencies, the goal of the study was to examine the factors that affect raters' evaluations of fluency. Seven raters graded fluency dynamically, using the Idio-dynamic Software to upgrade or downgrade fluency over the course of the listening task. The rating process was followed with stimulated recall; raters were interviewed to determine which aspects of L2 fluency were associated with enhanced or diminished fluency. Qualitative analysis revealed that raters fluency judgment continuously changed indicating moment-to-moment shifts over time, which can be referred to as dynamic. The main speech features influencing raters' perceptions of L2 fluency were speech rate, pauses, self-repair, grammatical/phonological accuracy, and automatized production. These speech features were inherently intertwined and combined during the fluency rating process, rather than being clearly distinguished from each other and independently applied to fluency assessments. The effects of rating modes (i.e., audio-only ratings, video-mediated ratings) on perceiving features of fluency were analyzed. The effects of the rating modes were not statistically different in the test-takers' scores. However, the number of comments on certain features changed between the rating modes. Raters tended to focus on speech rate and pause phenomena during the video-mediated ratings while they were more sensitive to accuracy in audio-only ratings. In addition, raters comments reflected their overall impression of the speech samples by watching the video clips while they recognized more specific errors in each sentence by listening to the audio clips. However, the speech features were categorized in the same theme and emphasized to be balanced for fluent speech regardless of rating modes. Although inter-rater reliability was being observed and their correlation was high, each raters assessment process varied referring to different linguistic features for their judgment. The results provide important insights accounting for the complexity of perceiving L2 fluency by non-native raters in the language testing context. In addition, raters definitions of fluency varied and raters tended to judge fluency levels in relation to various linguistic dimensions. Therefore, it is necessary to discuss the ways to develop rubrics that include major variables influencing fluency assessment in English speaking tests, and train raters to have a better understanding of using rubrics. Keywords : speaking fluency, fluency rating, perceived fluency, qualitative approach, dynamic rating, rating modes