인지진단평가의 문항수준 모형적합도 연구

Abstract

The recent international achievement comparison studies show that Republic of Korea was ranked high place in performance of mathematics. However, Korean students exhibit significantly low marks in the attitude toward mathematics. Some educators claim that assessment systems in classrooms which focus only on final achievement adversely affect students attitude toward mathematics. In this matter, assessment systems in classroom need to be changed for improved quality of education. The revised 2015 Mathematics curriculum in Republic of Korea promotes self-directed learning and informative use of assessment results. Therefore, assessment in school should aim for diagnostic purposes, rather than putting students in order. Cognitive Diagnosis Assessment (CDA) using Cognitive Diagnosis Model (CDM) is a form of assessment to provide the examinees' cognitive profiles consisting of mastery status of multiple attributes. CDA can offer information to feedback on students learning and help improve teaching and learning methods for teachers. Many CDMs assuming various attribute-response relations have been developed. CDMs can be divided into two types: general models and specific models. General models such as generalized-DINA (G-DINA) model (de la torre, 2011) include all parameters associated with main effects and attribute-to-attribute interaction effects. In contrast, specific models consider special constraints, such as the Deterministic Inputs, Noise And Gate (DINA) model (Hartel, 1989

Junker & Sijitsma, 2001) which assumes that all attributes required for an item need to be mastered to solve the item. Considering the fact that CDA statistically estimates each students attributes profile, many researchers have become interested in the validity of CDA. Among a variety of CDMs, it is important to choose an appropriate model for a specific assessment. For this reason, methods for model-data fit have been suggested by many researchers. As of now, however, analyses of the model fit of CDMs are mostly limited to test-level. Since the appropriate model may be different for each item, deciding a single model for an entire test might not be appropriate for certain CDAs. Wald test proposed by de la Torre(2011) is a new method to compare the model fit between a general model and a specific model at an item-level. Wald test can only help deciding appropriate model between general and specific models at an item-level, but using the Wald statistics computed during Wald tests, it is possible to develop an item-level model selection method. In this study, an item-level model selection method is developed based on Wald statistics. Simulation studies are carried out to verify that the model selection method using Wald statistics can identify an appropriate model for each item using item response data. Moreover, factors that might affect the performance of the proposed item-level model selection method have been examined, including complexity of Q-matrix, the number of attributes per item, and item quality. Also, the proposed method is applied to real data sets and the results of chosen CDMs are analyzed regarding the nature of items. The results of simulation studies indicate that the model selection method using Wald statistics yields the accuracy of at least 70% in the conditions such that item quality is high and complex Q-matrix is used. Increasement in the number of attributes per item and item quality increases the accuracy of the proposed method. We expect the proposed methods can be applied to CDAs consisting of heterogeneous items with different response models and contribute to improve validity of the CDAs.

국제 학업성취도 비교 연구의 결과에서 우리나라 학생들의 수학영역 성취도는 높지만, 수학에 대한 정의적 영역 성취도는 낮게 나타났다. 이와 관련하여 성취 중심 평가의 부정적인 측면이 제기되었고, 학교교육의 평가체계가 바뀌어야 한다는 목소리가 높아졌다. 최근 발표된 2015 개정 교육과정 총론에 따르면, 학습의 과정을 중시하는 평가를 강화하고, 평가 결과를 활용하여 교수․학습의 질을 개선하는데 중점을 두어야 한다고 권장한다. 이와 같이 학습내용 성취에 대한 세분화된 정보를 제공할 수 있는 평가를 실시하여 교사와 학생 모두에게 도움을 주어야 할 필요성이 더욱 대두되었다. 그러므로 우리는 학습내용 성취에 대한 자세한 정보를 통해 교사와 학생 모두에게 도움을 줄 수 있는 평가를 지향해야한다. 양적 분석을 이용한 평가의 방법 가운데 인지진단모형(Cognitive Diagnosis Model, CDM)을 바탕으로 한 인지진단평가(Cognitive Diagnosis Assessment, CDA)는 학생들의 인지상태를 통계적으로 추정하여 세분화된 인지요소 벡터로 분석하고 피드백을 제공하는 등 진단적인 역할을 할 수 있다. 학생들이 더 효율적인 학습을 할 수 있게 한다. 인지요소와 문항의 응답 확률과의 관계를 어떻게 가정하고 있느냐에 따라 다양한 인지진단모형이 개발되었다. 여러 가지 인지진단모형 중에는 G-DINA 모형과 같이 문항에서 요구하는 인지요소의 모든 효과를 고려하는 일반적인 모형과 옳은 응답을 위해 인지요소들의 결합적 필요성을 가정하는 DINA 모형과 같은 구체적인 모형이 있다. 인지진단평가는 학생의 인지요소 숙달상태를 통계적으로 추정하기 때문에 그 타당성에 대한 연구가 등장하기 시작했다. 특히 모형적합도는 모형이 실제 관찰된 데이터를 얼마나 잘 나타내는지를 의미하는데, 인지진단평가의 모형-데이터 적합도 연구는 데이터에 적합한 인지진단모형을 찾는데 중점을 둔다. 지금까지의 모형-데이터 적합도 연구는 검사 전체에 적합한 모형을 찾는 검사 수준의 적합도 연구 위주였다면, 각 문항에 적합한 인지진단모형을 별도로 판정하는 문항수준의 모형-적합도 연구도 등장하였다. 인지진단모형은 인지요소 간의 관계를 모형별로 다양하게 설정하고 있기 때문에, 각 문항에 적합한 인지진단모형은 서로 상이할 수 있다. de la Torre(2011)가 제시한 Wald 검사는 사고 절약의 원리를 바탕으로 하는데, 검사를 구성하는 각 문항에 대해 일반적인 모형과 구체적인 모형의 비교를 통해 구체적인 모형이 일반적인 모형 대신 사용될 수 있는지를 결정하게끔 해준다. Wald 검사는 문항별로 구체적인 모형과 일반적인 모형 사이에 판별을 가능하게 하는데 그쳤지만, Wald 검사에서 계산하는 문항수준 Wald 통계량을 이용하면 후보군의 구체적 인지진단모형 가운데 각 문항에 가장 적합한 인지진단모형을 선택하는 방법을 구성할 수 있다. 본 연구에서는 Wald 통계량을 이용해 각 문항에 적합한 인지진단모형을 선택하는 방법을 개발하고 그 효과를 검증하였다. 이를 위해 모의실험을 실시하였고, 또한 문항에서 요구하는 인지요소의 개수, Q-행렬의 구조, 문항의 질 등의 요인이 개발한 방법의 정확도에 미치는 영향 역시 조사하였다. 이를 위해 위의 조건이 변화할 때 참 모형과 문항수준 모형 선택 방법으로 선택된 모형의 일치율을 구하여 정확도를 평가했다. 그리고 TIMSS 2007 수학 평가 데이터 등을 사용하여, 실제 수학인지진단평가에 Wald 통계량을 이용한 문항수준 모형 선택 방법을 적용한 결과를 분석했다. 분석결과 Wald 통계량을 이용한 문항수준 모형 선택 방법의 정확도는 문항의 질이 높고, 복잡한 Q-행렬이 사용된 상황에서 70% 이상의 정확도를 보였다. 특히 문항에서 요구하는 인지요소의 개수가 많고, 문항의 질이 높을수록 Wald 통계량을 이용한 문항수준 모형 선택 방법의 정확도는 높은 것으로 나타났다. 본 연구에서 개발한 Wald 통계량을 이용한 문항수준 모형 선택 방법을 이용하면, 문항별로 인지진단모형을 다르게 설정하여 좀 더 타당성 있는 인지진단평가를 수행할 수 있을 것으로 기대된다.