Enhanced Item Response Theory: Integration of Response Consistency

Abstract

문항반응이론(Item Response Theory, IRT)은 문항과 사람 간 상호작용에 대한 일반적인 양상에 관한 이론이다. 문항반응이론은 문제은행 등 다양한 상황에서 활용된다. 뿐만 아니라 심리학 등 다양한 학문 영역에서 문항반응이론을 연구 방법론으로 채택하고 있다. 이처럼 문항반응이론은 학문적, 실용적 중요성을 지닌 것으로 평가할 수 있다. 문항반응이론은 실용성과 유연성의 측면에서 고전 시험 이론(Classical Test Theory, CTT)을 능가하는 것으로 평가할 수 있다. 다만, 문항반응이론은 문항과 사람 간 상호작용을 지나치게 단순화하였다는 점을 문제점으로 지적할 수 있다. 기존 문항반응이론은 시험 결과를 통한 학생의 수준 진단 신뢰도 및 추가 문제 추천 정확도 등에 한계를 가지고 있다. 이러한 한계로 인해 기존 문항반응이론이 평가-학생지도 간 연계성을 약화시킬 수 있다. 문항반응이론이 평가-학생지도 간 연계성을 강화시키기 위하여, 새로운 문항반응이론은 학생 수준 진단의 신뢰성 확보 및 결측치 예측(imputation) 성능 향상이 필요하다. 이를 위하여 본 연구는 문항-문항 간 상호작용에 주목하여 문항반응이론의 성능 향상을 도모하였다. 기존 문항반응이론은 문항-문항 간 상호작용을 간접적으로 반영하였으나, 새로운 문항반응이론은 문항-문항 간 상호작용을 직접 반영하였다. 이러한 상호작용을 본 연구에서 '응답정합성(response consistency)'으로 명명하였다. 새로운 문항반응이론의 성능 향상 및 성능 검증을 위하여 기계학습(machine learning) 방식을 도입하였다. 그 결과 새로운 문항반응이론은 응답정합성 도입을 통하여 더욱 일반화된 학생 수준 진단이 가능해졌다. 그리고 개선된 진단 결과를 바탕으로 더 높은 결측치 예측 성능을 보였다. 응답정합성은 문항-문항 간 상호작용을 통하여 정답을 아는 응답과 정답을 모르고 추측한 응답 간 변별력을 강화시킴으로써 문항반응이론의 성능을 향상시킨 것으로 평가할 수 있다. 한편, 응답정합성이 범주화 한 문제 묶음이 실제로 PISA 2018의 수준 체계 분류와 일치함을 확인할 수 있었다. 이로써 본 연구는 교육평가 영역에서도 데이터 기반 접근법(data-driven approach) 도입의 가능성을 연 것으로 평가할 수 있다. 한편, 문항-문항 간 상호작용의 연구성과를 다문항 (multiple items) 간 상호작용으로 확대한다면, 응답정합성 개념 일반화에 한걸음 다가갈 수 있을 것으로 전망한다.

Item response theory (IRT) depicts the general tendency of interactions between items and examinees. IRT is applied in various areas, such as the item bank. In addition, diverse academic fields, such as psychology, adopt IRT as a methodology. Therefore, IRT holds both academic and practical significance. IRT outperforms classical test theory (CTT) in terms of practicality and flexibility. However, due to the complex nature of an examinee's ability, existing models, especially unidimensional IRT (UIRT), excessively simplify the interaction between the examinees and items. This characteristic contributes to limitations in accuracy of diagnosing examinees' abilities and imputing missing data. Consequently, this limitation restricts the connection between evaluation and feedback. To reinforce connectivity, a new IRT model is required to enhance its performance with respect to level diagnosis and imputation. To achieve this purpose, we have adopted interactions between two item pairs. Existing IRT models reflect these interactions indirectly, while the new IRT model does so directly. These interactions are conceptualized as response consistency. In order to strengthen and verify the performance, methodologies relevant to machine learning were introduced. As a result, a more generalized level diagnosis of examinees has been accomplished. The advanced diagnosis results served as the basis for further enhancing the imputation performance. Response consistency is deemed to improve the performance of IRT by incorporating interactions between item pairs, which further segregate innocent responses from wild guessing. Meanwhile, it was confirmed that item categories sorted out by the response consistency coincided with item group classification in PISA 2018. This serendipitous finding is expected to open the window of opportunity for a data-driven approach in educational evaluation. In future studies, the interaction between two items is expected to be expanded into the interaction among multiple items for exploration towards the general response consistency.