선다형 시험에서의 답지 위치 재배열 효과

Abstract

선다형 문항으로 구성된 시험에서는 컨닝 등의 부정행위를 방지하기 위한 목적으로 또는 단위 검사 수준에서 정답지 위치를 균등하게 배분하기 위한 목적으로 일부 문항들의 답지 위치를 변경하는 경우가 있다. 그러나 답지 위치 변경이 문항 특성이나 검사 결과에 미치는 영향에 대해서는 아직 충분한 검토가 이루어지지 못했으며, 따라서 동일한 시험에서 일부 문항들의 답지 위치를 변경한 복수의 검사지를 사용하는 것이 공정한가 혹은 답지 위치를 변경한 경우에도 문항 특성에는 변화가 없다고 가정하는 것이 타당한가에 대해서 명확한 판단을 내리기 어렵다. 이 연구에서는 선다형 문항에서의 답지 배열 효과를 분석하기 위해, 일반적인 답지 배열 원칙을 지켜 개발된 기준검사와 기준검사와 문항의 내용과 순서는 동일하되 각 문항의 답지 위치들이 다른 답지 재배열 검사에서의 피험자 응답 결과를 비교하고, 정답지의 위치에 따른 문항정답률의 변화를 분석하였다. 연구 결과, 답지 위치를 변경하는 것이 검사 총점에는 의미있는 영향을 주지 않았으나, 개별 문항 수준에서는 문항정답률에 변화를 초래하는 것으로 확인되었다. 특히 정답지가 양극단보다 중앙에 위치할 때 정답률이 높아지는 경향이 있었다.

To eliminate cheating or to balance the keys in a multiple-choice examination, the position of response options is sometimes changed. But the effect of rearranging options of an item is not fully examined. Therefore this study sought to determine whether reordering multiple choice item options results in significant effects on item and test performance. We found that rearranging response options does not make any significant difference in test scores, but it makes difference in item difficulty in many items. Especially items whose answer is located in the middle(B to D) showed a slightly higher percentage of correct answers than items whose answer is located in first or last position(A or E).