문항 유형 vs 학생: 이탈행동을 설명하고 예측하는 두 종류의 관점 비교 연구

Abstract

Disengagement in online learning leads to poorer learning performance. Therefore, it is important to identify the main cause of disengagement and establish strategies to prevent disengagement. However, the causes of disengagement have usually been studied on the Intelligent Tutoring System (ITS) which mainly targets school-aged children, and not in educational games for preschoolers. In this context, this study examines which dimension – problem type or student - better explains disengagement that occurs in educational games for preschoolers. The problem type dimension is a perspective that examines whether disengagement has occurred due to differences among problems. The student dimension is a view that explores whether individual student differences influenced the occurrence of disengagement.

In this study, the following two comparative analyses were performed using the 15,066 log data that was collected from 409 learners who played KitkitSchool, an educational game application for preschoolers. First, the explanatory power of problem and student dimension was compared in terms of the unit of analysis. Specifically, to calculate the unit of analysis of the problem or student dimension, we aggregated the disengagement rate by either problem or student. Then, we performed the four following analyses to find a more explainable dimension: linear regression, self-correlation analysis, histogram, and Bayesian network. Second, to examine the features that can increase the prediction accuracy of disengagements, we built the prediction models for each disengagement and identified influencing features based on the models feature importance. In both analyses, three types of disengagement were examined: gaming, off-task, and quit. Gaming is a behavior in which learners attempt to solve problems by exploiting the system's properties rather than thinking deeply. Off-task refers to when students do not engage in learning tasks and quit is a behavior that students give up during problem-solving.

As a result, three types of disengagement were explained better in general, when the unit of analysis was calculated using the problem dimension than the student dimension. In addition, regardless of the type of disengagement, the two features related to the problem dimension were identified as the most important features: sub_Problem_count, Problem_avg_trial_time. Based on the result, this study proposes that it is necessary to focus on a problem-oriented strategy rather than a student-oriented strategy to prevent disengagement in educational games for preschoolers. This study is meaningful in that i) it is the first study to explore the main cause of disengagement in the context of educational games for preschoolers, and ii) revealed that the problem type better explains disengagement than the student through two analyses.

온라인 학습 환경에서의 이탈행동은 학습효과를 저하시킨다. 따라서 이탈행동의 발생 원인을 파악하고 대응 방안을 제안하는 것은 중요한 문제이다. 그러나 이탈행동의 원인을 탐색한 연구들은 주로 취학아동 연령 이상을 대상으로 Intelligent Tutoring System (ITS) 상에서 이루어져 왔으며, 아직까지 유아용 교육게임에서는 탐구되지 않았다. 이에, 본 연구에서는 문항유형과 학생 관점 중 어떤 관점에서 보는 것이 유아용 교육게임에서의 이탈행동을 더 잘 설명하는지 비교하고자 한다. 문항유형 관점이란, 문항의 난이도나 인터페이스와 같은 문항의 차이로 인해 이탈행동이 발생했는지를 살펴보는 시각이다. 학생 관점은 학생 개인의 차이가 이탈행동의 발생에 영향을 미쳤는지를 탐구하는 시각이다.

본 연구에서는 유아용 교육게임인 KitKitSchool을 플레이한 409명 의 로그를 활용하여, 다음 두 가지 비교 분석을 수행하였다. 첫째, 문항유형 관점과 학생 관점에 따라 도출된 이탈행동의 분석단위가 이탈행동 발생 비율에 대해 가지는 설명력을 비교하였다. 이를 위해 이탈행동비율을 문항유형/학생 별로 집계한 후, 선형회귀분석, 자기상관분석, 히스토그램, 베이지안 네트워크 분석을 수행하여 어떤 관점에서의 분석단위가 더 큰 설명력을 가지는지를 파악하였다. 둘째, 이탈행동 예측 모델에서 예측정확도를 높일 수 있는 피처들이 문항유형과 학생 관점 중 어떤 관점에서 도출된 피처인지 살펴보기 위해, 가장 높은 성능을 보인 예측 모델의 피처 중요도를 확인하였다. 두 가지 분석에서는 온라인 학습 환경에서 빈번하게 발생하는 세 가지 이탈행동인 게이밍, 풀이 외 행동, 중도포기를 살펴보았다. 게이밍은 학습자가 깊게 고민하는 대신 시스템의 특성을 이용하여 찍는 행동을 의미한다. 풀이 외 행동은 문제풀이와 상관없는 행동을 가리킨다. 중도포기는 풀이 도중 포기하는 행동을 일컫는다.

분석 결과, 대체로 이탈행동의 분석단위를 학생 관점으로 계산했을 때보다, 문항유형 관점으로 계산했을 때 세 가지 이탈행동을 더 잘 설명하였다. 또한 피처 측면에서 살펴보았을 때, 이탈행동의 유형과 상관없이 문항유형에서 학생들이 풀이한 하위문항의 수(sub_Problem_count)와 정답 입력 간 평균 소요 시간(Problem_avg_trial_time)이 이탈행동 예측 모델의 예측정확도를 높이는 상위 두 개의 피처로 나타났다. 이를 통해 본 연구에서는 유아용 교육게임에서 학생보다는 문항유형에 집중하여 이탈행동에 대응할 것을 제안한다. 이 연구는 유아용 교육게임에서 이탈행동 발생의 주요한 원인을 탐구한 첫 연구이며, 두 가지 분석을 통해 문항유형이 학생보다 이탈행동을 더 잘 설명함을 밝혔다는 의의를 가진다.