유럽 언어 공통기준 연계를 통한 영어 독해 시험의 수준설정: 수정된 앙고프 방법과 북마크 방법 비교

Abstract

본 연구는 국내에서 개발된 대규모 영어 능력 시험에 포함된 독해 시험을 유럽 언어 공통기준(Common European Framework of Reference for Languages)의 읽기 척도와 연계하기 위해 전문가 패널을 구성하고 수정된 앙고프 방법과 북마크 방법을 이용하여 분할점수를 산출하였다. 유럽 언어 공통기준의 6개 능력 수준을 나누는 독해 시험의 분할점수를 산출하였고, 그 결과에 대해 내적, 외적, 절차적 준거에 따라 평가하여 타당성을 검토하였다. 수집된 점수의 분석 결과, 전문가 패널 구성원이 판단한 분할점수의 표준편차가 라운드를 거칠수록 작아지는 경향을 보였고, 수정된 앙고프 방법과 북마크 방법을 통해 얻은 분할점수 결과는 매우 유사했으며, 수준설정 이후 패널 구성원의 대다수가 최종 분할점수에 확신을 갖는다고 응답했다. 또한 대부분의 패널 구성원들이 수준설정 준비 및 진행과정, 설명이 명확하였고 판단을 내릴 때 도움이 되었다고 평가하였다.