Exploring the effect of a pedagogical conversational agents warmth on learning

Abstract

교육용 대화형 에이전트는 학생들이 학습에 대해 정서적으로 참여할 수 있도록 도와주는 사회적 상호작용을 모방한다는 점에서 이점을 가진다. 교육용 대화형 에이전트는 사용되는 모달리티에 따라 다양한 형태를 취할 수 있다. 특히, 인스턴트 메시징을 학생들이 널리 사용하게 되면서 텍스트 기반의 대화형 에이전트는 교육 맥락에서 보편화되고 있다. 그러나, 그래픽 요소를 포함하는 다른 모달리티들과 다르게, 텍스트 기반의 접근 방식은 아직까지는 어떤 교수법으로 어떤 내용을 전달할지에 집중하여 제작되어 왔기 때문에 학생들과의 사회적 상호작용을 효과적으로 촉진하고 있지 못하다. 따라서 이 연구에서는 사회적 인식의 중요한 차원인 따뜻함의 정도를 조작하여 학생들이 대화형 에이전트와 사회적으로 상호작용하고 학습에 정서적으로 참여할 수 있도록 하고자 한다. 비록 정서적 참여가 학생에게 학습동기를 부여할 수 있지만, 학습에 관한 참여에는 여러 차원들이 있고 서로 밀접히 연관되어 있기 때문에 정서적 참여만으로 능동적 참여를 충분히 유도하기 어려울 수 있다. 따라서 이 연구에서는 학생에게 전달되는 학습활동의 유형을 인지적 참여 정도에 따라 조작하여 이를 보완하고자 한다. 이 연구에서는 교육용 대화형 에이전트에서 두 변수, 따뜻함의 정도 (높음 vs. 낮음)와 학습활동의 종류 (constructive vs. active)의 효과를 알아본다. 학습경험에 대한 객관적이고 주관적인 변수들, 학습 성취와 학습에 대한 내재적 동기를 측정하였고 학습경험에 대한 추가적인 통찰을 얻기 위해 각 학생들에 대해 반구조화 인터뷰를 진행했다. 우리는 98명의 초등학교 6학년 학생을 대상으로 기하 문제를 설명하도록 하는 챗봇인 GeomBot을 제작하여 2x2 피험자 간 실험을 진행하였다. 실험 결과에 대한 양적 분석에 의하면, GeomBot이 따뜻함이 높은 메시지를 보낼 때 따뜻함이 낮은 메시지를 보낼 때보다 학생들의 학습 성취, 흥미-즐거움이 유의하게 더 높았다. 또한, 학생이 인지적 참여 정도가 높은 활동을 할 때 낮은 활동을 할 때보다 유의하게 더 높은 학습 성취와 흥미-즐거움이 관찰되었다. 그리고 학습 성취, 흥미-즐거움, 긴장-불안에 대한 유의미한 상호작용 효과를 발견할 수 있었다. 인터뷰 데이터에 대한 질적 분석을 통해서는 두 가지 주요 인사이트를 도출할 수 있었다. 첫째, 연구자가 GeomBot이 보내는 모든 메시지에 변주를 주었음에도 불구하고 학생들은 내용이 반복적이라고 인식했다. 둘째, 비록 따뜻함이 높은 메시지를 받은 학생들이 더 높은 학습 성취를 보였지만, 따뜻함이 낮은 메시지를 받은 학생들이 GeomBot을 더 정직하다고 인식했다. 인터뷰 데이터에 의하면, 따뜻함이 낮은 GeomBot이 학생들로부터 부정적인 피드백을 받았을 때 부정적인 리액션을 하기 때문에 정직하게 느껴진다고 보고되었다. 이와 반대로, 따뜻함이 높은 GeomBot은 부정적인 피드백을 받아도 긍정적으로 반응하기 때문에 덜 정직하게 느껴진다고 보고되었다. 이는 현재 버전의 따뜻함이 높은 GeomBot의 메시지가 학생의 피드백에 대해 학생의 기대에 상응하지 못하는 반응을 함을 의미하고, 이로 인해 GeomBot에 대한 정직함 인식이 저하될 수 있음을 시사한다. 두 가지 질적 분석 결과를 통합하여, 우리는 (1) 따뜻함이 높은 메시지와 따뜻함이 낮은 메시지를 자동 생성하고, (2) 학생들의 피드백에 기반하여 메시지의 따뜻함 정도를 조절하는 것이 교육용 대화형 에이전트 사용 경험을 개선하는 데 도움이 될 수 있다는 결론을 얻을 수 있었다. 학생의 피드백에 따라 따뜻함의 정도를 조절하는 것이 에이전트에 대한 인식에 미치는 영향을 알아보기 위해, GeomPT를 제작하여 두 번째 연구를 진행하였다. GeomPT는 ChatGPT에 프롬프트 엔지니어링 기술을 활용하여 학습 활동을 전달하는 따뜻함이 높거나 낮은 메시지를 자동으로 생성한다. 두번째 연구에서는 10명의 초등학교 6학년 학생들을 대상으로, 따뜻한 메시지만 보내는 GeomPT와 공부한 그룹 (HW-C)과 학생의 피드백에 따라 메시지의 따뜻함 정도를 조절하여 보내는 GeomPT를 사용한 그룹 (HLW-C)을 비교한다. 에이전트에 대한 인식에 관한 변수들을 측정하는 것에 더하여, GeomPT에 대한 학생의 내면적 인식을 알아보기 위해, GeomPT가 어떻게 생겼을 것이라고 생각하는지 그림을 그리도록 하였다. 실험 결과를 통해, 메시지의 따뜻함을 조절한 그룹 (HLW-C)이 따뜻함이 높은 메시지만 받은 그룹 (HW-C)에 비해 더 높은 정직함 인식을 보였다. 그림 데이터에 대한 질적 분석은 학생들이 그들의 피드백에 따라 따뜻함의 정도를 조절하는 GeomPT를 더 인간답고, 또래다우며, 유능하다고 인식함을 나타내었다. 이 연구의 기여점은 다음과 같다: (1) 우리는 교육용 대화형 에이전트에 따뜻함의 정도를 다르게 적용할 수 있는 언어적, 비언어적 단서들을 제공한다. (2) 우리는 메시지의 따뜻함과 constructive 활동 디자인에 집중하여, 생성 인공지능 중 ChatGPT를 학습 상황에 적용하기 위한 가이드라인을 제시한다. (3) 우리는 학생의 능동적 학습을 촉진하기 위해 constructive 활동을 학생의 피드백에 따라 따뜻함의 정도를 조절하여 전달하는 것에 대한 경험적 증거들을 제공한다.

Pedagogical conversational agents (PCAs) are beneficial in that they can simulate social interactions, which support students to be emotionally engaged in learning. PCAs can take on various forms depending on the modalities in which they are developed. Text-based conversational agents, in particular, have become increasingly prevalent in educational contexts due to the widespread use of instant messaging by students. However, compared to other modalities that incorporate graphic elements, text-based approaches have not been able to effectively foster social interaction with students. This may be because their primary focus is yet on determining which specific instructional methods to use or which learning content to deliver. Taking this into account, the present study manipulated the level of warmth (low vs. high), which is known to be a dominant dimension of social cognition, to encourage students socially interact with the conversational agent and become emotionally engaged in learning. Although emotional engagement through social interaction can motivate students to learn, it may not be sufficient to promote active engagement in learning. This is because multiple dimensions of student engagement, such as cognitive engagement, are closely interconnected. To fill this void, in this study, we also incorporate manipulation of the type of learning activity that is delivered to students by the agent, varying the level of cognitive engagement that the activity requires (active vs. constructive). The present study examined the effect of two variables mentioned above, the level of warmth and the type of learning activity. In particular, we measured both objective and subjective variables of the learning experience, learning achievement and intrinsic motivation for learning, and conducted a semi-structured interview with each student to get further insight on the learning experience. We conducted a 2x2 between-subjects laboratory experiment with sixth-grade elementary school students (n = 98) with GeomBot, a pedagogical conversational agent that requires students to explain how to solve geometry problems. Quantitative analyses of experimental results showed that when GeomBot sends high-warm messages to students, they showed significantly greater learning achievement and interest-enjoyment than when GeomBot sends low-warm messages. In addition, when students solve constructive learning activities with GeomBot, they showed significantly greater learning achievement and interest-enjoyment than when solving active learning activities. Furthermore, significant interaction effects for learning achievement, interest-enjoyment, and tension-pressure were observed between the level of warmth and the type of learning activities. Qualitative analyses of interview data demonstrated two key findings. First, despite researchers making variations on every message sent by GeomBot, students still perceived the content to be repetitive. Second, although students who received high-warm messages showed greater learning achievement, those who received low-warm messages perceived GeomBot as more honest compared to those who received high-warm messages. Interview data from each group indicated that students perceived low-warm GeomBot to be honest when GeomBot reacted negatively to students feedback after solving a problem incorrectly. In contrast, students rated high-warm GeomBot as less honest because GeomBot responded positively even when it received negative feedback from students. This finding indicates that the current version of high-warm GeomBot did not reciprocate to students feedback, which may have resulted in a deterioration in the perceived honesty towards the agent. Taking these findings together, we could conclude that (1) automatically generating high-warm and low-warm messages and (2) manipulating the warmth of messages based on students' feedback, which may improve the reciprocity, could improve their agent perception. To further explore the effect of reciprocal warmth design on agent perception, the second study was conducted with GeomPT. GeomPT automatically generates high or low-warm messages which deliver constructive learning activities, by applying prompting engineering techniques to ChatGPT. We compared two groups (n = 10) of sixth-grade students who studied with GeomPT which sends high-warm messages only (HW-C) and those who used GeomPT that switches the level of warmth of its messages according to students feedback (HLW-C). In addition to measuring perception-related variables, to investigate students internal thoughts on GeomPT, we asked students to draw what they thought GeomPT would look like. Our experimental results showed that the high-reciprocity group (HLW-C) showed better perceived reciprocity and perceived honesty than the low-reciprocity group (HW-C). Qualitative analysis of drawing data indicated that students perceived the agent as more human-like, peer-like, and competent when reciprocally responding to their feedback. The contribution of the study is as follows: (1) We present verbal and non-verbal cues to implement different levels of warmth in the pedagogical conversational agent. (2) We suggest how to apply generative AI, ChatGPT, to educational settings, focusing on the warmth manipulation of the message and constructive activity design. (3) We provide empirical findings on reciprocally using high-warm and low-warm messages with constructive learning activities to foster students active engagement.