인지요소의 특성에 따른 인지진단모형의 적합도 비교

Abstract

School education in Korea is conducted in accordance with the national curriculum. According to the 2015 revised general curriculum, assessments should be utilized to provide students with appropriate information about test results, guide students to reflect and improve their learning and to help teachers conduct better classes. The cognitive diagnostic Assessment (CDA) can fulfill the purpose of assessment because it estimates the mastery or non-mastery of attributes and diagnoses each students ability and cognitive processes. Various cognitive diagnostic models have been developed since Tatsuoka(1983) first presented the earliest model. It is important to determine the model that has the best-fit for the given assessment. In the national curriculum, the achievement objectives of the mathematics education are stated in terms of mathematical content domains and cognitive behavioral domains. Furthermore, the framework for international assessments, such as TIMSS and PISA, also covers both type of domains. Hence, the traits that the cognitive diagnostic assessment evaluates should involve both domains at the same time. In this study, we first classified the attributes into two categories : content-related attributes and cognitive behavior-related attributes according to their characteristics, and formulated several hypotheses about appropriate cognitive diagnostic model for the types of attributes used in the cognitive diagnosis. To verify the formed hypotheses, we explored the data of TIMSS 2007 fourth grade mathematical test and analyzed the model fit for each pair of cognitive diagnostic models and the types of attributes. The hypotheses are as follows:

1. The DINA model is suitable for the content-related attributes, because the attributes for content domains are non-compensatory. 2. The DINO model is suitable for the cognitive behavior-related attributes, because the attributes for cognitive behavioral domains are compensatory. 3. The ACDM model, whose probability of correct answers is linearly increasing, is suitable for the content-cognitive combined attributes, because the combined attributes of content and cognitive domains are partially compensatory.

Using the response data from seven countries (Hong Kong, Singapore, the United States, Slovenia, Armenia, Qatar, Kuwait) for the TIMSS 2007 Fourth grade mathematics booklet 4, the absolute fit indices (MADcor, SRMSR) and relative model fit (-2LL, AIC, BIC) were compared for each of the DINA, DINO, ACDM and GDINA model. The results show that, for the data of the six countries except Qatar, ACDM model is the best fitting model regardless of the types of attribute. On the other hand, for the data of Qatar, DINA, DINO and ACDM model was the best model for content, cognitive behavioral and content-cognitive domains, respectively, which is coincident with the hypotheses we formed. In the TIMSS data analysis, we compared the correct response probability of each attribute pattern to explain the model fit index for each attribute domain, and the result can be summarized as follows. First, it is appropriate to consider both of the content domains and the cognitive behavioral domains at the same time. Second, if the content and cognitive attributes are both considered simultaneously but separately, it can help to interpret students status in both aspects of content and cognitive level independently. On the other hand, if the content and cognitive attributes are considered simultaneously and conjointly, the attributes can be converted to the feedback statement that can be understood easily by students. So, whether to separate or conjoint the content and cognitive behavioral domains should be determined according to the purpose of the assessment. This study confirmed that the cognitive diagnostic models should be determined by contemplating the characteristics of the assessment and the cognitive attributes, rather than by seeking the ease of calculation and interpretation or by just applying the same model used in the previous study. In addition, this study can help researchers construct the attributes for the cognitive diagnostic model depending on the purpose of the assessment.

우리나라 학교 교육은 국가가 정한 교육과정에 따라 이루어진다. 2015 개정 교육과정 총론(교육부a, 2015)에 따르면 학생은 평가 결과에 대한 적절한 정보를 제공받음과 동시에 학교의 추수 지도를 통해 자신의 학습을 지속적으로 성찰하고 개선하며, 교사는 학생 평가 결과를 활용하여 수업의 질을 지속적으로 개선하는데 활용하도록 하고 있다. 인지진단평가(Cognitive Diagnostic Assessment, CDA)는 인지요소별 숙달 확률을 추정하고 숙달 여부를 분류하여 학생의 능력(ability), 인지 과정(cognitive process), 기능(skill) 등의 수준을 상세히 파악하고 진단할 수 있는 강점이 있어 2015 개정 교육과정 총론에서 추구하는 평가의 목적과 그 활용에 부합한다. Tatsuoka(1983)가 처음 인지진단모형을 제시한 이후 다양한 인지진단모형이 개발되어왔다. 따라서 정확한 평가 결과의 분석을 위해 어떤 모형이 해당 평가를 잘 설명할 수 있는 모형인지 판단하는 것은 중요하다. 수학과 교육과정에서 드러나는 교육 목표는 수학적 내용과 행동을 모두 담고 있다. 또한, 우리나라의 국가수준 학업 성취도 평가나 대학수학능력시험, 국제적인 성취도 평가인 TIMSS나 PISA 등의 평가틀 역시 수학적 내용영역을 고려함과 동시에 인지행동영역을 고려하는 이차원 구조로 이루어져 있다. 따라서 인지진단이론에서 검사가 측정하고자 하는 특성은 수학적 내용영역과 인지행동영역을 모두 담고 있다. 본 연구는 인지진단모형을 적용하기 위해 설정해야 하는 인지요소의 특성에 주목하여 인지요소를 내용영역과 인지행동영역으로 구분하고 각각의 특성에 맞는 인지진단모형이 무엇인지 문헌연구를 통해 연구 가설을 세워보았다. 정립한 가설을 검증하기 위해 TIMSS 2007 4학년 수학 Booklet 4 검사지의 응답 자료를 이용하였다. 더불어, 내용영역 인지요소와 인지행동영역 인지요소의 결합방식에 따라 적합한 모형은 무엇인지, 평가 결과를 해석할 때의 어떤 차이가 있는지 구체적으로 확인하였다. 인지요소의 특성을 내용영역, 인지행동영역으로 구분하고 문헌연구를 통해 각각의 영역에 맞는 모형이 무엇인지 가설을 설정하였다. 그 가설은 다음과 같다.

1. 내용영역 인지요소는 비보상적 성격을 지니고 있으므로 비보상적 모형인 DINA 모형이 적합할 것이다. 2. 인지행동영역 인지요소는 보상적 성격에 가까우므로 보상적 모형인 DINO 모형이 적합할 것이다. 3. 내용인지영역 내용영역과 인지행동영역을 동시에 고려한 경우를 본 연구에서는 내용인지영역으로 명명하고자 한다. 인지요소는 비보상적 성격과 보상적 성격을 동시에 지니고 있으므로 인지요소를 습득함에 따라 정답을 맞힐 확률이 선형적으로 증가하는 ACDM 모형이 적합할 것이다.

문헌연구를 토대로 정립한 연구 가설을 확인하기 위해 TIMSS 2007 4학년 수학 Booklet 4 검사지의 7개국(홍콩, 싱가폴, 미국, 슬로베니아, 아르메니아, 카타르, 쿠웨이트)의 응답 자료를 이용하여 DINA 모형, DINO 모형, ACDM 모형, GDINA 모형의 절대 적합도(MADcor, SRMSR)와 상대 적합도(-2LL, AIC, BIC)를 비교하였다. 그 결과 카타르를 제외한 여섯 개의 국가는 인지요소의 영역에 상관없이 ACDM 모형이 가장 적합한 모형이었고, 카타르는 본 연구의 연구 가설과 동일하게 내용영역 Q-행렬에서는 DINA 모형이, 인지행동영역 Q-행렬에서는 DINO 모형이, 내용인지영역 Q-행렬에서는 ACDM 모형이 가장 적합한 모형이었다. TIMSS 2007 4학년 수학 Booklet 4 검사지의 평가 결과를 분석할 때 내용영역 인지요소와 인지행동영역 인지요소의 결합방식에 따른 모형 적합도 차이와 평가 결과를 해석할 때의 차이를 확인하고자 학생 개개인의 인지패턴에 따른 정답확률을 비교하여 두 가지 결과를 도출하였다. 첫 번째 결과는 내용영역과 인지행동영역을 모두 고려한 내용인지영역 Q-행렬의 상대 적합도 수치가 내용영역 Q-행렬 또는 인지행동영역 Q-행렬의 상대 적합도 수치보다 작았다. 이는 내용영역과 인지행동영역을 모두 고려하는 것이 적절하다는 것을 의미한다. 두 번째 결과는 내용영역과 인지행동영역을 모두 고려한다고 할 때, 이 두 영역을 구분하든 그렇지 않든 상대 적합도 수치상의 차이는 확인되지 않았다. 그러나 이 두 영역을 동시에 고려하되 구분하여 인지요소를 설정하면 영역에 상관없이 학생의 수학적 능력 수준을 확인할 수 있다. 한편, 내용영역과 인지행동영역을 구분하지 않고 결합적으로 인지요소를 설정하면 학생들이 쉽게 이해할 수 있는 피드백 문구로 변환하기 좋아 추후 학습을 진행하기 좋다. 따라서 인지요소를 설정할 때 평가의 목적에 따라 내용영역과 인지행동영역의 구분 여부를 판단하여 인지요소를 설정해야 한다. 본 연구는 인지진단모형을 선택할 때 평가의 목적과 인지요소의 특성을 고려하지 않고, 계산의 편이성, 해석의 용이성 때문에 모형을 선택하거나 선행연구의 인지진단모형을 그대로 수용하여 적용하는 것이 적절하지 않을 수 있음을 확인하였다. 따라서 인지진단모형을 선택할 때 인지요소의 특성을 살펴 평가에 적합한 인지진단모형을 선택해야 함을 확인한 것에 그 의의가 있다. 또한, 인지진단모형을 적용할 때 연구자의 목적에 따라 인지요소를 설정하고 적합한 인지진단모형을 선택하는 의사결정에 도움을 줄 수 있을 것이다.