교육용게임에서Actiondynamicfeature를활용한자동화된Guessing행동감지방안

Abstract

In computer or mobile-based educational systems, such as educational games, the problem is that learners use the characteristics of the system environment to complete tasks instead of faithfully performing the learning process, especially by doing a "rapid guessing behavior", which is a behavior of randomly and rapidly choosing an answer. If a rapid guessing behavior occurs, learning will not be done properly and the system will not be able to achieve educational purposes. Therefore, there is a need to detect whether or not guessing behaviors have occurred in educational games. The goal of this paper is to exploit "action dynamic features" computed through touch motion trajectories arising from educational games of drag-and-drop UI to identify guessing behaviors corresponding to problematic behaviors occurring in educational games. In this paper, an "action dynamic feature" or an "action feature" is defined as a feature measured by a user's mouse and touch trajectory in a computer or mobile-based environment. Action features have advantages in that they can indirectly identify the psychological state hidden behind the action without halving the learning and fun of the game. We sought to implement a guessing behavior detection model that allows an in-depth understanding of how action features relate to guessing behaviors and can automatically detect a guessing behavior based on them. In particular, we further consider how changes in learning difficulty, which were not considered in previous works, affect understanding guessing behaviors. We were able to discover some facts as follows. First, in multiple game design conditions, when a guessing behavior occurred, the action features showed lower figures compared to when a guessing behavior did not occur. This confirms that action features can be utilized to identify problematic behaviors in educational games. Second, in some cases, action features decreased as learning difficulty increased. In this case, it can be assumed that a problematic behavior occurred, indicating that prescriptions such as learning difficulty adjustment or detection of guessing behavior are needed. Third, as learning difficulty increased, the difference between the action features when taking a guessing behavior and action features when not taking a guessing behavior increased. This allowed us to confirm that the learning difficulty has a significant effect on whether or not a guessing behavior is present and on the action features. Therefore, it is important to consider the influence of learning difficulty in order to understand the guessing behavior in depth. Fourth, we implement a guessing behavior detection model using machine learning algorithms that trained action features. As a way to reduce the confounding effect of learning difficulty on the model, we proposed to limit the range of touch motion trajectory data used to extract action features and to add features that reflect learning difficulty,

교육용 게임과 같은 컴퓨터 또는 모바일 기반의 교육 시스템에서는 학습자들이 학습 과정을 충실히 수행하는 대신 시스템 환경의 특성을 이용(exploit)해서 과제를 완료하는 행동, 특히 신속하게 무작위로 응답을 하여 우연히 문제를 맞추는 게싱 행동이 발생한다는 문제점이 있다. 게싱 행동이 발생할 경우, 학습이 제대로 이뤄지지 않게 되어 교육적 목적을 달성하지 못 하게 된다. 따라서 교육용 게임에서 게싱 행동이 발생했는지 여부를 확인하거나 예측할 필요성이 있다. 본 연구의 목표는 드래그 앤 드롭 방식의 교육용 게임에서 발생하는 터치 모션 궤적을 통해 계산한 액션 피쳐를 활용하여, 교육용 게임에서 발생하는 문제적 행동에 해당하는 게싱 행동을 파악하는 것이다. 본 연구에서액션 피쳐란 컴퓨터 또는 모바일 기반의 환경에서 사용자의 마우스 및 터치 궤적을 통해 측정한 수치로 정의된다. 액션 피쳐는 게임의 학습과 재미를 반감시키지 않고 행동의 이면에 숨어있는 심리적 상태를 간접적으로 파악할 수 있다는 점에서 이점이 있다. 우리는 액션 피쳐가 게싱 행동과 어떤 관련이 있는지를 심층적으로 이해하고, 이를 바탕으로 게싱 행동을 자동으로 감지할 수 있는 게싱 행동 감지 모델을 구현하고자 하였다. 특히, 이전의 연구에서는 고려되지 않았던 학습 난이도의 변화가 게싱 행동을 이해하는 데 어떤 영향을 끼치는지를 추가적으로 고려하였다. 우리는 다음과 같은 몇가지 사실을 발견할 수 있었다. 첫째로, 우리의 예상대로 여러 가지 게임 디자인에서 게싱 행동을 취한 경우, 게싱 행동을 취하지 않은 경우에 비해 액션 피쳐가 낮은 수치를 보였다. 이를 통해 액션 피쳐는 교육용 게임에서의 문제적 행동을 파악하는 데 활용될 수 있다는 사실을 확인하였다. 둘째로, 난이도가 상승할수록 액션 피쳐가 하락하는 현상이 관찰되었으며, 이 경우 문제적 행동에 해당하는 게싱이 발생한 것이므로 난이도 조정이나 게싱 행동 감지 등의 처방이 필요하다는 사실을 알 수 있었다. 셋째, 난이도가 상승할수록 게싱 행동을 취했을 때의 액션 피쳐와 게싱 행동을 취했을 때의 액션 피쳐 간의 차이가 더 커졌다. 이를 통해 우리는 학습 난이도가 게싱 행동 여부와 액션 피쳐에 유의미한 영향을 끼친다는 사실을 확인할 수 있었다. 따라서, 게싱 행동을 심층적으로 이해하기 위해서는 학습 난이도의 영향력을 고려하는 것이 중요하다. 넷째, 우리는 교육용 게임의 액션 피쳐를 기계학습 알고리즘에 학습시킨 게싱 행동 감지 모델을 구현하였다. 본 연구의 논의 결과, 게싱 행동 감지 모델의 성능을 향상시키기위해서는 학습 난이도가 모델에 끼치는 교란 효과(confounding effect)를 감소시키기 위한 방안으로 액션 피쳐를 추출하는데 사용하는 터치 모션 궤적 데이터의 범위를 제한하고, 학습 난이도가 반영된 피쳐를 추가할 것을 제안하였다. 제안한 방안을 적용해 본 결과, 이미 높은 감지 성능을 보인 선다형 게임에서는 모델의 성능 향상이 나타나지는 않았으나, 상대적으로 감지 성능이 저조하였던 짝찾기 게임에서는 모델의 성능의 개선이 이루어졌다.