문항모수 추정치에 기반한 문항 및 검사 신뢰도의 추정

Abstract

이 연구에서는 다양한 교육 및 심리 검사의 결과에 대해서 문항반응이론(IRT: item response theory) 모형을 활용하여 문항 및 검사 신뢰도를 추정하는 방법을 소개한다. Dimitrov(2003)는 이분 문항으로 이루어진 검사 결과를 가지고 IRT 모수 추정치의 함수로서 문항 및 검사 신뢰도를 추정하는 방법을 제안하였는데, 이 연구에서는 이를 확장하여 다분 및 혼합유형(mixed format) 문항 검사에 모두 적용할 수 있는 일반화된 방법을 유도함으로써 보다 폭넓은 적용이 가능하도록 하였다. 이와 같은 방법론의 실제적 적용을 예시하기 위하여 각각 영어와 수학의 성취도를 측정하는 두 검사의 자료가 사용되었다. 신뢰도 추정치들을 살펴본 결과, 문항 수준의 신뢰도는 각 검사의 제작 및 문항 평가에 있어서 유용한 정보를 제공해 줄 수 있을 것으로 나타났다. 두 실제 검사 자료 모두에서 IRT에 기반을 둔 검사 수준의 신뢰도는 Cronbach's 계수에 비해서 약간 큰 값을 가지는 것으로 추정되었는데, 이러한 현상의 이유를 설명하기 위하여 두 신뢰도 추정 방법의 관계 및 차이가 심층적으로 논의되었다.

This article introduces a technique to estimate item and test reliability for a psychological and educational test as a function of the item response model parameters. Dimitrov(2003) suggested a framework to calculate item and test reliability coefficients for a dichotomous item test as an application of IRT. This study generalized his method into the application for polytomous and mixed-format item tests. Two actual mixed-format test data sets were used to illustrate the use of the reliability estimation technique. The item level reliabilities seemed to be useful in the context of developing and evaluating test items. The estimated reliability based on IRT tended a little bit larger than Cornbach's  coefficient. The relationship and difference between the two reliability estimation methods were further discussed.