Examining the Effects of Cognitive Engagement and Chatbot Humanness on Learning

Abstract

교육 분야에서는 최근 텍스트 기반 챗봇의 사용이 주목받고 있다. 교육적 목적으로 사용하기 위한 챗봇을 개발하고 디자인할 때 챗봇을 교수자임과 동시에 제품으로 바라볼 수 있다. 따라서 교수자-학습자 상호작용 및 챗봇-사용자 상호작용 측면을 모두 고려해야 한다. 이에 따라, 본 연구를 통해 교수 설계 관련 요인 (학습에서의 인지적 참여) 및 사용자 경험 관련 요인 (챗봇의 휴먼니스의 인지적 결정요인)이 학습 결과와 동기에 미치는 영향을 검토하고자 한다. 본 연구에서는 ICAP 프레임워크와 CMD 프레임워크를 기반으로 네 가지 버전의 챗봇 (Constructive and humanized, constructive and non-humanized, active and humanized, active and non-humanized)이 설계되었다. Constructive 챗봇은 학습자들에게 (1) 비디오/시뮬레이션에서의 개념을 본인의 말로 설명하거나 요약하게 하고, (2) 배운 것에 근거하여 자신의 의견을 정당화하게 하며, (3) 명시적으로 가르친 것에 근거하여 새로운 정보를 추론하게 하고, (4) 학습 중에 다루지 않은 새로운 경우에 대한 예측을 생성하게 한다. 반면에, active 챗봇은 학습자들에게 전체 문장의 공백을 채우거나 다양한 옵션 중에서 정답을 선택하게 하지만, 새로운 출력을 생성하거나 새로운 정보를 추론하도록 요구하지는 않는다. Humanized 챗봇은 인간과 같은 캐릭터의 시각적 표현을 제공하고, (1) 챗봇의 역할과 이름을 인간처럼 식별하고, (2) 사회적 대화를 사용하고, (3) 비공식적이고 캐주얼한 어투를 사용하고, (4) 이모티콘을 사용하고, (5) 얼굴 표정이 있는 스티커를 사용하는 등의 여섯 가지 휴먼니스의 인지적 결정요인을 사용하여 디자인되었다. 본 연구의 첫 번째와 두 번째 가설은 각각 학습의 인지적 참여 모드와 챗봇 인간성의 인지적 결정요인의 주효과를 검증하기 위해 설정되었다. 세 번째 가설은 두 독립 변수의 상호작용 효과를 검증하기 위해 설정되었다. 혼합적 데이터 분석에 근거하여 양적 및 질적 데이터를 종합적으로 분석하여 세 가지 가설을 검증하였다. 사전/사후 테스트를 통해 학습성과를 측정하였고, 사후 설문과 인터뷰를 통해 학습동기를 측정하였다. 측정된 독립변수의 실험군 간 차이가 유의한지 확인하고자 이원 분산 분석과 순위-합 변환 이원 분산 분석을 실시하였다. 본 연구 의의는 네 가지로 요약된다. 첫째, 교수 설계 요소와 사용자 경험 요소를 모두 포괄할 수 있도록 학습 경험 디자인의 개념에 기반하여 교육용 챗봇을 설계하였다. 둘째, 학습자들이 배경 지식을 갖추지 못했음에도 불구하고, constructive 챗봇이 활동적인 챗봇보다 학습 성과를 향상시키는 데 더 효과적이었다. 셋째, 선행연구에 기반한 예측과는 다르게, non-humanized 챗봇이 humanized 챗봇보다 학습 성과 향상에 더 효과적이었다. 넷째, constructive 챗봇을 사용할 때, 챗봇 휴먼니스의 인지적 결정요인은 두 가지 유형의 학습 동기에 대해 다른 영향을 미쳤다. 구체적으로 긴장-압박 측면의 동기에 대해서는 긍정적인 영향을, 자기 유능감 측면의 동기에 대해서는 부정적인 영향을 주었다.

The use of text-based disembodied chatbots in education has recently gained attention in educational fields. To develop and design chatbots for educational purposes, two types of interactions—learner and educator, user and product— have to be simultaneously considered. As such, this study aims to examine the impact of a learning experience-related factor (i.e., cognitive engagement in learning) and a user experience-related factor (i.e., cognitive determinants of chatbot humanness) on learning outcomes and motivation. Four versions of chatbots (i.e., constructive & humanized, constructive & non-humanized, active & humanized, active & non-humanized chatbots) were designed, based on the ICAP framework and the CMD framework. Constructive chatbots lead learners to (1) explain or summarize concepts in the video/simulation in ones own word; (2) justify my opinion based on what s/he learned; (3) infer new information from what was explicitly taught; (4) generate predictions on a new case that was not addressed during learning. In contrast, active chatbots require learners to fill in the blank of the full sentences or select a correct answer among the various options, without the need to generate a new output or infer new information. Humanized chatbots were designed by using six cognitive determinants of perceived humanness: (1) provide a visual representation of humanlike character, (2) identify a chatbots role and name as humanlike, (3) use social dialogues, (4) use informal and casual verbal style, (5) use emojis, and (6) use stickers that have facial expressions. Our first and second hypotheses were set to examine the main effect of the cognitive engagement mode of learning and cognitive determinants of chatbot humanness, respectively. The third hypothesis was set to investigate the interaction effect of the two independent variables. A mixed method approach was taken to examine the three hypotheses by comprehensively analyzing quantitative and qualitative data. We measured learning outcomes by pre/post-tests and learning motivation by post-survey and interview. Using such measurements, we conducted two-way ANOVA and Rank-sum Transformation ANOVA. The contributions of our study are four-fold: (1) We designed our educational chatbot based on the concepts of learning experience design to encompass both the instructional design element and the user experience element; (2) Despite the learners lacking background knowledge, constructive chatbot were more effective in improving learning outcomes than active chatbots; (3) Different from our prediction, which was based on previous literature, non-humanized chatbots were more effective in learning outcomes than humanized chatbots; (4) When using constructive chatbots, cognitive determinants of chatbot humanness gave different impacts on two types of learning motivation: positive impact on tension-pressure and negative impact on perceived competence.