The Effects of Response Format and Question Type on Reading Comprehension Test Performance

Abstract

글을 읽고 이해한다는 것은 텍스트에서 추출된 의미와 독자의 경험, 배경지식 등의 상호작용을 통해 일종의 정신적 표상을 구성하는 것이다. 이러한 정의에 따르면 독해 능력은 텍스트에서 의미를 추출할 수 있는 능력, 추출한 의미를 활용하여 개인의 독자적 정신적 표상을 구성하는 능력 등을 포함한다. 즉, 독해 능력이란 단일한 구인이 아닌, 다양한 요소들로 구성된 복합적인 구인인 것이다. 구인의 복합성은 독해 능력 평가에 있어 두 가지 주요 시사점을 제시한다. 첫째, 독해 능력을 평가하기 위한 다양한 시험들이 동일한 독해 능력을 측정한다고 볼 수 없다. 둘째, 독해 시험들이 측정하는 능력이 다르다는 점은 독해 능력 평가결과 해석 및 해석의 타당도에 영향을 미친다. 이에 따라, 선행 연구들 독해 시험의 구인에 영향을 미치는 요소들을 독자, 텍스트, 시험의 특성을 중심으로 살펴보았다. 본 연구에서는 시험 특성이 한국의 고등학생 영어 학습자들의 독해 능력을 측정하는 데 미치는 영향을 알아보고자 문항의 응답 형태와, 문항 질문의 종류가 학습자들의 독해 능력을 측정하는 데 미치는 영향에 대해 분석하였다. 본 연구에 활용된 분석 방법은 상관관계 분석과 혼합 효과 모형이다. 먼저, 상관관계 분석을 통해 동일한 문항 형태를 갖는 문항들의 동질성과 동일한 질문 형태를 갖는 문항들의 동질성을 분석하였다. 다음으로 혼합 효과 모형(Mixed effects model)을 적용하여, 문항의 응답 형태와 문항 질문 유형이 독자들의 문항 응답 수행에 미치는 영향을 알아보았다. 분석 결과, 동일한 응답 형태를 갖는 문항들은 동일한 질문 유형의 문항들 보다 높은 상관관계를 갖는 것으로 나타났다. 혼합효과 모형 분석에서 문항 응답 형태가 독해 시험 수행에 큰 영향을 미치는 것으로 나타났다. 이러한 결과는 시험의 특성이 독해 시험 결과를 근거로 한 피험자의 독해 능력 추론에 영향을 미친다는 것을 보여주며, 시험 구성 단계 및, 시험 결과 활용 단계에서 문항의 응답 형태와 같은 시험 특성에 대한 충분한 고려가 필요함을 시사한다.

The purpose of the current study is to identify the effects of response format, question type and their interaction on measuring Korean mid-to-low proficiency level English learners L2 reading comprehension ability. A correlation analysis was performed to investigate relationships between different item conditions. Total four conditions which consist of two different response formats (Multiple-choice questions, Open-ended questions) and different question types (asking literal comprehension, asking inferential comprehension). Results from the analysis revealed that items sharing the same response formats were more homogeneous than items sharing the same question type. A mixed-effects modeling was also performed and revealed fixed effects of response format on readers performance on reading test items. But, no significant effects of question type or interaction between response format and question type were not found. Results from the study suggest that measuring method can be a factor that affects the construct validity of test items. For this reason, the response format should be carefully considered with the purpose of the reading assessment.