구성적 문단 배열 문항의 신뢰도와 타당도

Abstract

One of the shortcomings of most reading comprehension tests is the abundance of items that ask for trivial details. In order to provide a substitute for these items, this study focused on the global structure of the text and introduced modified paragraph rearrangement items. In paragraph rearrangement items, the students task is to rearrange four or five randomly arranged paragraphs in a logical flow. I revised traditional paragraph rearrangement items as follows, calling them constructive paragraph rearrangement items: i) Instead of choosing an option in the multiple choice format, students have to write down the correct order; ii) their responses are scored using a string similarity algorithm. Three studies were conducted on undergraduateandgraduatestudents to confirm the reliability and validity of the constructive paragraph rearrangement items. In Study 1, the equivalent-form reliability of the constructive paragraph rearrangement items was compared with the multiple-choice format items. The result showed that the correlation between the two tests in the constructive paragraph rearrangement format was significantly higher than that in the multiple-choice format. This result suggests that the constructive paragraph arrangement test measures test takers' structure comprehension ability more reliably compared to the multiple choice format test. In Study 2, a high correlation was found between a 16 item test that asks to rearrange 4 paragraphs and a 8 item test composed of 5 paragraphs. The times allowed for the two tests were 30 minutes and 20 minutes, respectively. This result suggests that by increasing the number of paragraphs, which raises the difficulty of the test, we can create a more efficient test. In Study 3, we examined whether constructive paragraph rearrangement items actually measure structure building ability. To test this hypothesis, Multi-Media Comprehension Battery(MMCB), a structure building ability test developed by Gernsbacher and Varner (1988), was used. Participants were instructed to take both the constructive paragraph rearrangement test and the MMCB picture subtest. The result showed a high correlation between the two tests. This suggests that structure building ability can be assessed through constructive paragraph rearrangement items. The above results show that constructive paragraph rearrangement items, which are easily created using relevant text, can be an effective tool that brings new vitality into the reading comprehension assessment field.

오늘날 대다수의 독해 검사는 글의 지엽적인 정보를 묻는 문항들이 많다. 하지만, 글의 지엽적인 정보를 묻는 것만으로는 수험자의 독해 능력을 정확히 파악할 수 없다는 문제가 있다. 이에, 본 연구에서는 지엽적인 기존의 독해 문항 대신 글의 구조적인 맥락을 파악해야 하는 문단 배열 문항을 제안하였다. 문단 배열 문항 과제의 특징은 수험자가 무선적으로 배열된 넷 또는 다섯 개의 문단을 논리적 흐름에 따라 배열해야 한다는 점이다. 본 연구에서는 단순히 답지를 고르는 선다형 대신, 배열 순서를 수험자가 직접 입력하도록 하였다. 수험자의 입력된 반응은, 정답과의 유사성을 계산하는 문자열 유사성 알고리즘(string similarity algorithm)에 따라 점수가 매겨졌다. 이 방식의 신뢰도와 타당도를 알아보기 위해 대학생을 대상으로 세 개의 연구가 수행되었다. 연구 1에서는 구성적 문단 배열 문항의 동형 검사 신뢰도를 선다형과 비교하였다. 각 문항에 대해 수험자는 먼저 직접 답을 입력하고 바로 이어서 선다형으로 반응하였다. 검사 점수를 분석한 결과, 구성적으로 반응한 두 검사 간의 상관이 선다형에서의 상관에 비해 유의미하게 높았다. 연구 2에서는 한 수험자가 4 문단짜리 16 문항으로 이루어진 검사와 5 문단짜리 8 문항으로 이루어진 검사를 모두 보았다. 검사 점수를 분석한 결과 두 검사 점수 간에 높은 상관이 확인되었다. 이 결과는 문단의 개수를 4개에서 5개로 늘려 더 어렵게 만들면, 검사 시간을 줄일 수 있음을 시사한다. 연구 3에서는 구성적 문단 배열 검사가 구조파악 능력을 측정하는 지를 알아보았다. 이를 위해 Gernsbacher와 Varner (1988)가 개발한 구조 파악 능력 측정 검사인 다중미디어 독해 배터리(Multi-Media Comprehension Battery: MMCB)가 사용되었다. 연구 참여자들로 하여금 구성적 문단 배열 검사와 MMCB의 한 부분인 그림 검사를 치르도록 한 결과, 이들 간에 높은 상관이 확인되었다. 이 결과는 구성적 문단 배열 검사가 구조 파악 능력을 측정하는 도구로 활용될 수 있음을 시사한다. 이상의 결과는 구성적 문단 배열 검사가 종래의 독해 검사들이 놓치고 있던 구조 파악 능력을 측정하는 방안으로 사용될 가능성을 제시한다. 문단 배열 문항은 오래 전부터 독해 평가를 위해 사용되어 왔지만, 선다형 방식으로 제시되어 그 장점이 충분히 발휘되지 못했다. 본 연구에서 제안한 것처럼, 구성적 방식으로 반응하게 하고 그 결과를 정답과의 유사성을 바탕으로 부분 점수를 매기면, 수험자의 독해 능력을 보다 정밀하게 측정할 수 있다. 이 방식의 또 다른 장점은, 교수자가 수업 관련 자료를 이용하여 쉽게 만들 수 있고, 문단의 개수나 글의 난도를 조절하여, 다양한 수준의 문항을 출제할 수 있다는 것이다. 요컨대 구성적 문단 배열 문항은, 그동안 간과되어 온 구조 파악 능력을 쉽게 측정할 수 있게 해, 독해 평가 그리고 나아가 독해 교육의 새로운 지평을 열 것으로 기대된다.