The Effect of EDD Checklist-based Diagnostic Feedback on Korean EFL Learners Performance on TOEFL Independent Writing Tasks

Abstract

영어 글쓰기 수험자들에게 진단 피드백을 제공하려는 목적의 진단 평가 척도 연구가 많은 주목을 받았던 반면 (Kim, 2010

Knoch, 2009), 이러한 평가 척도의 타당성과 효과성을 평가해 보려는 시도는 적었다. 따라서, 본 연구는 (1) TOEFL iBT 독립형 글쓰기 과제를 바탕으로 Kim (2010)에 의해 처음 개발된 EDD (Empirically-derived Descriptor-based Diagnostic) 점검표의 한국 EFL 상황에서의 적용가능성과 타당성을 검토하고, (2) EDD 점검표 기반의 진단 피드백이 한국인 EFL 학습자의 영어 글쓰기 실력에 미치는 영향을 점검해 보고, (3) 한국인 EFL 학습자 및 채점자의 EDD 점검표 및 피드백에 대한 인식을 조사하였다. 본 연구에는, 중급 수준의 총 53명의 한국인 EFL 학습자가 참여했으며, 각 그룹의 평균이 비슷하도록 배치고사 (placement test) 점수에 따라 (1) 자기평가 그룹 (self-evaluation), (2) 진단 피드백 그룹 (written diagnostic feedback), (3) 진단 피드백 및 구두 피드백 그룹 (oral feedback)에 순서대로 배치되었다. 수험자들이 첫 번째 글쓰기는 EDD 점검표 및 TOEFL iBT 독립형 글쓰기 채점표로 채점되었고, EDD 점검표의 채점 결과에 따라 개인별 맞춤 진단 피드백 성적표가 작성되었다. 일주일 후, 자신이 속한 그룹에 따라 다른 종류의 피드백을 받았고, 이를 바탕으로 첫 번째 글쓰기를 수정하였다. 그리고 이어서, 두 번째 시험을 치른 후, 사후 설문조사에 응했다. 수험자들의 채점 및 설문 결과는 R, MS Excel, 및 Google Spreadsheet으로 수집 및 처리되었고, SPSS를 이용하여 난이도, 변별도, 신뢰도, 타당도, 및 효과성이 계산되었다. 그 결과, EDD 점검표는 한국 EFL 상황에서 수험자 개개인의 장점과 단점에 관한 진단 피드백을 생성할 수 있다는 것을 보여주었다. 하지만, 타당성 및 효과성 검증에 관하여는 엇갈린 결과를 보여주었다. 첫째, 작문 기술 (mechanics) 및 문법지식(grammatical knowledge)에 관련된 설명어(descriptors)를 제외하고는 적정 수준 이상의 변별도, 신뢰도 및 타당도를 보여주었다. 둘째, 반복측정 분산분석 결과 피드백 별 세 그룹에 통계적 차이가 발견되지 않았지만, EDD 총점 및 설문 결과는 EDD 점검표에 의한 피드백의 효과성에 긍정적인 결과를 보여주었다. 결론적으로, 본 연구는 한국 EFL 상황에서 EDD 점검표를 사용하여 수험자들에게 효과적인 진단 피드백을 제공하기 위해서는, EDD 점검표의 작문 기술 및 문법지식에 관한 설명어의 추가 조사가 필요하며, 난이도 및 설문에 나타난 한국인 EFL 학습자의 특성 및 채점자 피드백을 참고하여 EDD 점검표를 수정 보완할 필요가 있음을 시사하였다.

Diagnostically-oriented rating scales for writing assessment have been investigated as a promising approach to generating diagnostic feedback for test-takers in essay-based writing assessments in recent years (Alderson, 2005

Alderson & Huhta, 2005

Lee, 2015

Kim, 2010

Knoch, 2009). However, very little effort has been made thus far to assess the validity of such rating scales in terms of capturing the writers strengths and weaknesses in real testing contexts and to examine its effectiveness in improving the test-takers writing skills. Against this background, the present study aims to: (a) investigate the validity of the Empirically-derived Descriptor-based Diagnostic (EDD) Checklist initially developed by Kim (2010), based on the essays written for independent writing tasks of the TOEFL iBT along with its applicability in the Korean EFL writing assessment contexts, (b) examine the instructional effects of the EDD feedback on Korean EFL learners writing, and (c) observe the general perceptions of Korean EFL learners and raters about the EDD checklist and its diagnostic feedback. A total of 53 Korean EFL learners were assigned to one of three groups according to their placement test scores. Each group received different combinations of diagnostic feedback: (a) self-evaluation (no feedback), (b) the EDD (written diagnostic) feedback, and (c) the EDD (written diagnostic) feedback combined with additional oral explanations. As for the instrument of the writing test experiment, TOEFL independent writing tasks were used. The test-takers writing scores and diagnostic feedback were generated based on the EDD checklist and the rating rubrics for the TOEFL iBT independent writing tasks. The computer programs R, MS Excel, and Google Spreadsheet were used to prepare data for analysis, and SPSS was used to conduct basic psychometric analyses of the data, such as item analysis, reliability, and correlational analyses and also inferential statistical analysis, such as ANOVAs. This study found that the EDD checklist was generally applicable in Korean EFL context in that the diagnostic scheme generated students strengths and weaknesses from a reliable and valid existing writing task. However, its validation and effectiveness showed mixed results. First, discrimination indices, reliability, and validity were generally at moderate to high level, but mechanics and grammatical knowledge dimension scores required more investigation. Second, repeated measures ANOVA proved that there was no significant difference among different feedback groups, but the EDD composite mean scores and students survey result implied that diagnostic feedback group had positive effect on Korean EFL students writing tasks.