기계학습을 이용한 수학 문항 반응 예측에 관한 연구

Abstract

최근 들어 교육활동의 장이 오프라인을 넘어 온라인으로까지 확대되는 양상을 보이면서 학생들의 학습과 관련된 데이터의 축적과 이용이 자연스럽게 이루어지고 있다. 이에 따라 학습자와 학습 환경에 관한 데이터를 수집, 측정, 보고하는 학습 분석(Learning Analytics)이 발전하였고, 이를 교육에 활용하고자 하는 시도가 다양한 형태로 나타나고 있다. 본 연구는 eTIMSS 2019 데이터 세트를 바탕으로 학생들의 문항 반응을 예측하고 개별 학생의 학습을 촉진할 수 있는 문항의 선정 및 추천 방법을 제안하고자 하였다. 이를 위해 22개 국가의 중학교 2학년 학생 8,065명의 수학 문항 28개에 대한 정․오답 기록과 문항 해결 소요 시간 데이터를 사용하여 학생 수준에 적합한 문항을 추천하는 추천시스템을 개발하였다. 연구 설계 과정은 다음과 같다. 첫째, 협업 필터링을 사용하여 문항의 정․오답 및 문항 해결에 소요된 시간을 예측하였다. 둘째, 예측 결과를 문항의 영역별로, 학생의 국가별로 구분하여 비교하였다. 문항의 영역은 인지 영역, 내용 영역, 내용 영역의 하위 요소, 문항의 유형별로 나누었다. 셋째, 문항 추천시스템을 네 가지 방법으로 설계하여 TIMSS 2019 데이터에 적용하였다. 학생의 인지 발달 수준을 문항의 정답을 맞힐 확률과 문항 해결에 소요된 시간에 대응시켰다. 학생의 인지 발달 수준에서 근접발달영역에 해당하는 문항을 정답을 맞힐 확률이 0.6인 문항 및 해결에 소요된 시간이 개인별 소요 시간의 평균인 문항으로 설계하였다. 추천시스템의 성능을 비교하기 위해 본 논문에서는 학생의 능력과 추천된 문항의 평균 난이도의 피어슨 상관계수를 비교하였고, 추천된 문항에 대한 학생들의 실제 정답률을 기준으로 비교하는 척도를 개발하였다. 주요 연구 결과는 다음과 같았다. 첫째, 이웃 기반 협업 필터링 중에서는 사용자 기반 협업 필터링의 예측 정확도가 아이템 기반 협업 필터링의 예측 정확도보다 높았고, 행렬 분해 알고리즘에서는 암묵적 평점을 고려한 행렬 분해 알고리즘의 예측 정확도가 가장 높았다. 전체 알고리즘 중에서 사용자 기반 협업 필터링의 예측 정확도가 가장 높았으며, 암묵적 평점을 고려한 행렬 분해가 그 다음으로 높은 정확도를 나타냈다. 둘째, 문항별 예측 정확도를 비교하였을 때 영역별로 유의미한 차이가 있음을 확인하였고, 학생의 국가별 예측 결과 성취도가 높은 국가들의 예측 양상이 다르게 나타난 것을 확인하였다. 셋째, 소요 시간 예측을 통한 방법을 제외한 모든 추천시스템에서 학생 능력에 적합한 문항을 추천하였다. 정․오답 데이터로 협업 필터링을 사용하여 추천한 방법과 내용 영역별 정답률을 바탕으로 클러스터링한 추천 방법이 차례로 높은 성능을 보였음을 확인하였다. 본 연구는 수학교육에서 맞춤형 학습을 위한 시스템을 구축하였고, 교육 빅데이터 활용의 필요성 증가의 흐름에 따라 수학교육평가에서 학습 촉진을 위한 수학 문항 추천시스템에 대한 구체적인 가이드라인을 제시하였다. 문항의 특성에 따라, 그리고 추천 알고리즘에서 훈련에 쓰이는 학생의 문항 응답 데이터의 특성에 따라 예측 정확도에 차이가 있음을 확인하였다. 따라서 기계학습을 통해 문항 반응을 예측함에 있어서 훈련용 데이터의 구성이 중요하다는 것을 알 수 있다. 본 연구는 수학교육분야에서 많이 논의되지 않았던 문항 추천시스템에 관한 연구에서, 여러 가지 유의미한 추천 방법을 구체적으로 개발하였다는 것에 그 의의가 있다. 또한, 예측의 알고리즘을 비교적 쉽게 이해할 수 있는 방법을 사용하여 추천의 대상인 학생과 교사에게 정확하고 투명한 정보를 제공할 수 있다는 점에서 그 의의가 크다. 따라서 본 연구는 수학교육에서 추천시스템을 설계하고 개발하는 일련의 과정에 도움을 줄 수 있을 것이며, 문항 추천시스템을 통한 맞춤형 교육을 실시함으로써 벌어진 학습격차를 줄이는 데에 기여할 수 있을 것으로 예상된다.

With the recent years of expanding the field of educational activities from offline to online, a large amount of data related to student activities has been accumulated. Learning Analysis which collects, measures, and reports data on learners and their learning environments has developed. Besides, efforts to utilize the data analysis results for education have continued in various forms. This study analyzed the correctness and spent time data of 8th grade students in 22 countries among the eTIMSS 2019 datasets to predict students' performance. In addition, I proposed some recommender systems to suggest appropriate tasks to students. Measuring the accuracy of predicting the correctness and spent time data, user-based collaborative filtering was the best due to the characteristics of the educational data. On the prediction of correctness by each item and each country, the result shows that there is a difference in accuracy by domain of item and each country. Patterns of the prediction of countries with high achievement were different. Finally, this study recommended some items to each student by computing the Zone of Proximal Development proposed by Vygotsky. The performance of the recommender system was evaluated through the students' actual correctness. This study aims to develop various meaningful recommender system methods in the field of mathematics education. In addition, this study can provide accurate and transparent information to students and teachers using recommender system since the algorithms used in this study are relatively easy to interpret. Therefore, it is expected to help processes of designing and developing recommender systems in mathematics education, and to contribute to reducing the educational gap by providing personalized education through the question recommender system.