Investigating the Feasibility of Using Interactive Phone Communication Tasks in an EFL Speaking Assessment Context

Abstract

기술매개 말하기평가는 시험 전달의 용이함과 높은 성적 신뢰도 때문에 최근에 널리 이용되는 추세이다. 하지만, 부정적인 측면에서 볼 때, 준직접적 말하기 시험은 상호작용의 부재로 인해 좁은 언어 기술만 평가될 수 있는 점을 비판 받아왔다. 기술 관련 직접 말하기 시험에서도 휴대전화나 음성인터넷 프로토콜을 활용함으로써 상호작용 영역을 평가할 수 있을 거라 예상되지만, 준직접적 말하기 시험에 상호작용적 특성을 시행하는 것에 대한 연구는 거의 전무하다. 따라서, 본 연구는 EFL 환경의 영어평가상황에서 상호작용이 가능한 휴대전화대화 과제를 활용하는 것에 대한 가능성을 연구했다. 44명의 영어를 외국어로 배운 한국인 대학생들이 연구자가 만든 말하기 과제를 수행하도록 모집되었다. 말하기 수행능력을 평가하기 위해서, 롤플레이 형식의 실제 상대자와 대화를 하는 휴대전화 대화 과제와 음성메세지를 남겨야하는 혼자 말하는 상황의 과제가 이용되었다. 두 명의 채점자가 다섯 개의 영역의 분석적 기준에 근거하여 시험자의 말하기 수행을 평가했다. 또한, 시험자와 채점자가 어떻게 말하기 과제를 인식하는지를 알아보기 위하여 설문조사도 실시하였다. 연구결과는 두 유형의 과제에서 높은 수준의 채점자간 신뢰도가 발견되었지만, 분석적인 영역을 살펴보면, 혼자 말하기 과제에서는 과제수행 및 담화 관리영역, 대화 과제에서는 상호적인 의사소통영역에서 다소 불일치가 발견되었다. 항목간과 기준 시험 성적간 발견된 강한 양의 상관관계는 타당도를 주장하는 근거이다. 두 유형의 과제에서 나타나는 주목할만한 특징을 분석하기 위해, 각 시험자의 모든 과제에서 말했던 시간과, 대화과제에서는 일어나는 두 대화자가 말을 주고 받는 횟수를 세었다. 실시간으로 상호작용하는 가운데 즉각적인 반응을 보여야 하는 대화 과제에서, 유창함에 대한 정보가 더 많이 드러날 수 있다는 것이 밝혀졌다. 설문지의 분석은 40명 중 38명의 시험자가 실제 대화 능력이 드러나기 때문에, 혼자 말하기 과제보다 대화 과제를 더 진정성있고, 실제적이며, 정확한 말하기 평가 수단이라고 인식했음을 보여주었다.. 따라서, 본 연구는 상호작용적 전화대화 과제가 시험자의 말하기를 끌어내기 위해 혼자 말하는 과제로만 구성이 되어 있는 준직접적 말하기의 결함을 보완하기 위해, 상호작용 말하기 기술을 평가하는 신뢰할 수 있고 진정성 있는 측정방법임을 제시하였다. 여러 사회관계와 기능언어가 수반되는 전화 대화 상황 속, 다양한 목표 언어 사용 영역에서 시험자의 수행능력과 인식을 연구하는 것이 필요하다.

Technology-mediated speaking assessment has become widely used in recent years due to the benefits of test delivery and score reliability. On the negative side, however, semi-direct tests have been criticized in that they lack interaction, and thus only a narrow range of language skills can be assessed. Although direct-speaking language tests will be available when an interactional component is added by utilizing mobile phones or VoIP (Voice over Internet Protocol), studies have been scant with regard to the feasibility of implementing interactional technology in a semi-direct speaking assessment. Thus, the current study empirically investigated the feasibility of using interactive mobile phone communication tasks in an EFL speaking assessment. Forty-four Korean university students who learned English as a foreign Language were recruited to perform speaking tasks that were created by the researcher. Two types of tasks were used to examine the test-takers performances: a role-play type of non-interactive tasks featuring voicemail (monologic)

and an interactive task in the form of mobile phone communication, where dialogic-level interaction takes places with one interlocutor. The test-takers performances were evaluated by two raters, based on five analytic criteria for each task. Additionally, questionnaires were used to examine how the test-takers and the raters perceived the two different types of tasks. Analysis of the results showed that a high degree of inter-rater reliability was achieved, although rater-score disagreements were found in some analytic criteria such as task achievement and discourse management in the non-interactive test and interactional communication in the interactive test. To support a claim of validity, a strong positive relationship among items and tests was also found. To analyze for noteworthy patterns demonstrated in the two tasks, the length of each test-takers speech time on each of the two tasks and the conversational turns occurring in the interactive tasks were counted. This indicated that more information regarding fluency may be revealed in the interactive tasks in that spontaneous reaction is required in real-time interactions. The analysis of the questionnaires found that thirty-eight test-takers out of forty viewed the interactive tasks as being a more authentic, realistic, and accurate measure of assessing speaking ability than the non-interactive tasks in that real-communication ability was revealed. Overall, the interactive phone-communication tasks are a reliable and authentic measure to assess interactive speaking skills as a way to fill the gap in the semi-direct speaking format where only monologic tasks are used to elicit test-takers speech. Further studies are needed to investigate test-takers performances and their perceptions in various TLU domains in phone communication contexts where a variety of social relationships and functional languages are involved.