베이지안 방식의 데이터 증강을 이용한 지도학습 기반 인지진단평가 연구

Abstract

목적 본 연구에서는 베이지안 방식의 모수 추정 방식을 이용하여 전문가 진단 데이터 세트를 증강시켜 지도학습 기반 인지진단평가에 적용하는 방안을 제안하고 그 성능을 확인하고자 한다. 방법 이를 위하여 모의실험으로 문항의 질, 전문가 진단 오류율, 전문가 진단 데이터 세트의 크기, 증강 데이터 세트의 크기 네가지 요인에 대한 베이지안 기반 증강 데이터 세트와 전문가 진단 데이터 세트로 학습시킨 인공신경망의 진단 정확도를 비교 분석을 진행한다. 또한, 서울 소재 중학생 936명을 대상으로 한 일차방정식과 일차부등식 검사자료에 적용하여 그 결과를 분석한다. 결과 베이지안 기반 증강 데이터 세트를 이용한 지도학습의 성능은 증강 이전의 전문가 진단 데이터 세트만 이용했을 때보다 모든조건에서 유의미하게 개선되었으며, 전문가 진단 데이터 세트의 진단 오류율과 크기가 미치는 영향은 거의 없었다. 문항의 품질이높을수록, 증강 데이터 세트의 크기가 클수록 정확도가 높아졌으나 증강 데이터 세트의 크기가 N=3,000 이상에서는 큰 차이가 없음을 확인하였다. 일차방정식과 일차부등식 검사자료에서도 베이지안 기반 증강 데이터 세트를 이용한 지도학습의 성능이 전문가진단 데이터 세트만 이용했을 때보다 더 개선된 정확도를 보였으며, 학생들이 등식을 부등식보다, 일차방정식의 풀이를 일차부등식의 풀이 보다 잘 이해하고 있음을 확인했다. 결론 크기가 150 이하인 전문가 진단 데이터 세트를 사용하여 지도학습 기반 인지진단을 수행할 때, 베이지안 기반 데이터 증강방식을 통해 진단의 성능을 향상시킬 수 있다. 더불어, 실제 학생들은 방정식보다 부등식을 더 어려워하는 경향이 있어 부등식과 관련된 인지요소를 숙달할 수 있는 기회의 필요성을 보여준다.

Objectives The purposes of this study were to propose and validate a method for applying supervised learning for cognitive diagnostic assessment by augmenting expert-labeled dataset using Bayesian parameter estimation techniques. Methods The method was evaluated with a simulation study and an application to real data. The simulation study was conducted to compare the diagnostic accuracy of neural networks trained with both Bayesian-based augmented dataset and expert-labeled dataset across four factors: item quality, expert labeling error rate, size of the expert labeled dataset, and size of the augmented dataset. Additionally, the real data consists of the binary responses of 936 middle-school students to 24 arithmetic problems on linear equations and linear inequalities. Results The performance of supervised learning trained on the Bayesian-based augmented dataset showed significant improvements in all conditions compared to solely using the expert-labeled dataset. The effect of the labeling error rate and the size of the expert-labeled dataset was trivial. As the quality of the items increased and the size of the augmented dataset grew, accuracy improved, though beyond a certain size N=3,000 of the augmented dataset, the difference was negligible. For the real data on linear equations and inequalities, supervised learning trained on the Bayesian-based augmented dataset showed enhanced accuracy over just on the expert-labeled dataset. It is also evident that students understand solving linear equations better than solving linear inequalities. Conclusions When performing supervised learning based cognitive diagnosis with a small expert-labeled dataset, the diagnostic performance can be enhanced through Bayesian-based data augmentation method. Moreover, students tend to find understanding inequalities more challenging than equations, suggesting the need for opportunities to master cognitive attributes related to inequalities.