인지요소 위계를 고려한 베이지안 네트워크 기반 인지진단평가 모형 연구

Abstract

Cognitive diagnostic assessment (CDA) aims to determine the students mastery status for cognitive attributes representing specific knowledge, skills or ability necessary for learning in a particular domain. CDA has received considerable attention because it provides detailed diagnostic feedback on the cognitive strengths and weaknesses of students, which can be valuable information for classroom instruction and learning. The statistical models constructed to perform CDA are called cognitive diagnosis model (CDM). Several different CDMs have been proposed under various assumptions about the relationship among cognitive attributes and/or between cognitive attributes and item responses. Some models among them assume attribute hierarchy which implies hierarchical relationships between cognitive attributes. The CDMs with attribute hierarchy have potentials to be used for CDA reflecting the systematic nature of mathematics.

The Bayesian network, a probabilistic graphical model, can be used for CDM with attribute hierarchy in that attribute hierarchy is commonly represented as a graph structure. However, previous studies considering Bayesian network for CDMs did not focus on modeling attribute hierarchy in a strict sense. Thus, this study aims to define CDM with attribute hierarchy based on Bayesian network, called BN-H model, and to devise the CDA methodology considering attribute hierarchy centered on BN-H model. Specifically, a method of estimating attribute hierarchy, which should be addressed when CDM with attribute hierarchy is used for assessment, and a method of cognitive diagnostic computerized adaptive testing (CD-CAT) with attribute hierarchy are proposed.

In this study, BN-H model was defined as the model that express an attribute hierarchy using the graph structure of Bayesian network and constrain certain parameters of the general Bayesian network model to zero according to the attribute hierarchy. BN-H model assumes more parsimonious structural model and more general measurement model than the existing CDMs with attribute hierarchy.

As a method of hierarchy estimation based on the BN-H model, SEM-H method was suggested to improve the existing hierarchy estimation method based on the structure learning algorithm of Bayesian network. In the first simulation experiment, SEM-H method performed better in estimating correct attribute hierarchies compared to the existing method. In the second simulation experiment, performance of SEM-H method for estimating attribute hierarchy was evaluated under various simulation conditions. In addition, the practical applicability of SEM-H method was examined by applying SEM-H method to two actual math test data sets.

Next, CD-CAT based on the BN-H model, which is called BN-H-CAT, was introduced and the procedures of BN-H-CAT were presented. BN-H-CAT is distinguished from the conventional CD-CAT in that it considers attribute hierarchy and uses CDM based on Bayesian network. The results of simulation experiments comparing BN-H-CAT with the conventional CD-CAT without assuming attribute hierarchy show that BN-H-CAT can improve the efficiency of CD-CAT by modeling attribute hierarchy via BN-H model in the presence of attribute hierarchy.

Finally, the implications of this study were discussed and the directions for future research based on the CDA methodology proposed in this study were suggested.

인지진단평가는 특정 영역의 학습에 필요한 지식이나 기능, 능력 등을 나타내는 인지요소들에 대한 학생들의 숙달 여부를 파악하는 것을 목적으로 하는 평가이다. 인지진단평가는 학생들의 인지적 강점과 약점에 대한 구체적인 진단적 피드백을 통해 교수-학습에 유용한 정보를 제공할 수 있다는 점에서 많은 관심을 받아왔다. 인지진단평가의 실행을 위한 통계적 모형을 인지진단모형이라고 한다. 지금까지 인지요소들 사이의 관계 또는 인지요소와 문항 응답 사이의 관계에 대한 서로 다른 가정에 따라 다양한 인지진단모형들이 제안되어 왔으며, 그 중 일부 모형들은 인지요소 사이의 위계적 관계를 의미하는 인지요소 위계를 고려한다. 인지요소 위계를 고려한 인지진단모형은 수학의 계통성을 반영한 인지진단평가에 적용될 가능성을 지닌다.

인지요소 위계는 흔히 그래프 구조의 형태로 표현되므로, 그래프 기반의 확률 모형인 베이지안 네트워크는 인지요소 위계를 고려한 인지진단모형으로 활용될 수 있다. 그러나 베이지안 네트워크를 인지진단모형으로 고려했던 선행 연구들은 엄밀한 의미에서 인지요소 위계의 모델링에는 초점을 두지 않았다. 따라서 본 연구에서는 인지요소 위계를 고려한 베이지안 네트워크 기반 인지진단모형인 BN-H 모형을 정의하고, BN-H 모형을 중심으로 인지요소 위계를 고려한 인지진단평가의 방법론을 고안하고자 하였다. 특히, 인지요소 위계를 고려한 인지진단평가에서 다루어야 하는 중요한 문제인 위계 추정의 방법과 인지요소 위계를 고려한 인지진단 컴퓨터 적응검사의 방법을 제안하고자 하였다.

본 연구에서는 BN-H 모형을 인지요소 위계를 베이지안 네트워크의 그래프 구조로 나타내고, 인지요소 위계에 따라 일반적인 베이지안 네트워크 모형의 특정 모수를 0으로 제약한 모형으로 정의하였다. 그리고 BN-H 모형은 인지요소 위계를 고려한 기존의 모형들에 비해 구조 모형은 더 간명한 반면 측정 모형은 더 일반적이라는 특징이 있음을 확인하였다.

BN-H 모형을 기반으로 한 위계 추정의 방법으로는 베이지안 네트워크의 구조 학습 알고리즘에 기반한 기존의 위계 추정 방법을 개선한 SEM-H 방법을 제안하였다. 첫 번째 모의실험에서는 SEM-H 방법이 기존 방법보다 향상된 위계 추정 결과를 도출함을 확인하였으며, 두 번째 모의실험에서는 다양한 조건 하에서 SEM-H 방법의 위계 추정 성능을 평가하였다. 그리고 두 가지 실제 수학 검사 자료에 SEM-H 방법을 적용하여 위계 추정을 실시한 결과로부터 SEM-H 방법의 실제적인 활용성을 확인하였다.

다음으로 BN-H 모형을 기반으로 한 인지진단 컴퓨터 적응검사의 방법인 BN-H-CAT을 제안하고 그 절차를 제시하였다. BN-H-CAT은 인지요소 위계를 고려한다는 점과 베이지안 네트워크 기반의 모형을 인지진단모형으로 사용한다는 점에서 기존의 인지진단 컴퓨터 적응검사와 구별되는 특징을 지닌다. 모의실험에서 BN-H-CAT과 인지요소 위계를 고려하지 않은 기존의 인지진단 컴퓨터 적응검사를 비교한 결과, 실제로 인지요소 위계가 존재하는 상황에서 BN-H-CAT은 BN-H 모형을 이용하여 인지요소 위계를 모델링함으로써 인지진단 컴퓨터 적응검사의 효율성을 향상시킬 수 있음을 확인하였다.

마지막으로 본 연구의 시사점을 논의하고, 본 연구에서 제안한 인지진단평가 방법론을 바탕으로 하는 후속 연구 방향을 제시하였다.