Designing Conversational Agents to Encourage User Narrative and Self-Reflection in Mental Wellbeing

Abstract

In the advent of artificial intelligence (AI), we are surrounded by technological gadgets, devices and intelligent personal assistant (IPAs) that voluntarily take care of our home, work and social networks. They help us manage our life for the better, or at least that is what they are designed for. As a matter of fact, few are, however, designed to help us grapple with the thoughts and feelings that often construct our living. In other words, technologies hardly help us think. How can they be designed to help us reflect on ourselves for the better?

In the simplest terms, self-reflection refers to thinking deeply about oneself. When we think deeply about ourselves, there can be both positive and negative consequences. On the one hand, reflecting on ourselves can lead to a better self-understanding, helping us achieve life goals. On the other hand, we may fall into brooding and depression. The sad news is that the two are usually intertwined. The problem, then, is the irony that reflecting on oneself by oneself is not easy.

To tackle this problem, this work aims to design technology in the form of a conversational agent, or a chatbot, to encourage a positive self-reflection. Chatbots are natural language interfaces that interact with users in text. They work at the tip of our hands as if SMS or instant messaging, from flight reservation and online shopping to news service and healthcare. There are even chatbot therapists offering psychotherapy on mobile. That machines can now talk to us creates an opportunity for designing a natural interaction that used to be humans own.

This work constructs a two-dimensional design space for translating self-reflection into a human-chatbot interaction, with user self-disclosure and chatbot guidance. Users confess their thoughts and feelings to the bot, and the bot is to guide them in the scaffolding process. Previous work has established an extensive line of research on the therapeutic effect of emotional disclosure. In HCI, reflection design has posited the need for guidance, e.g. scaffolding users thoughts, rather than assuming their ability to reflect in a constructive manner.

The design space illustrates different reflection processes depending on the levels of user disclosure and bot guidance. Existing reflection technologies have most commonly provided minimal levels of disclosure and guidance, and healthcare technologies the opposite. It is the aim of this work to investigate the less explored space by designing chatbots called Bonobot and Diarybot. Bonobot differentiates itself from other bot interventions in that it only motivates the idea of change rather than direct engagement. Diarybot is designed in two chat versions, Basic and Responsive, which create novel interactions for reflecting on a difficult life experience by explaining it to and exploring it with a chatbot. These chatbots are set up for a user study with 30 participants, to investigate the user experiences of and responses to design strategies. Based on the findings, challenges and opportunities from designing for chatbot-guided reflection are explored.

The findings of this study are as follows. First, participants preferred Bonobots questions that prompted the idea of change. Its responses were also appreciated, but only when they conveyed accurate empathy. Thus questions, coupled with empathetic responses, could serve as a catalyst for disclosure and even a possible change of behavior, a motivational boost. Yet the chatbot-led interaction led to surged user expectations for the bot. Participants demanded more than just the guidance, such as solutions and even superhuman intelligence. Potential tradeoff between user engagement and autonomy in designing human-AI partnership is discussed.

Unlike Bonobot, Diarybot was designed with less guidance to encourage users own narrative making. In both Diarybot chats, the presence of a bot could make it easier for participants to share the most difficult life experiences, compared to a no-chatbot writing condition. Yet an increased interaction with the bot in Responsive chat could lead to a better user engagement. On the contrary, more emotional expressiveness and ease of writing were observed with little interaction in Basic chat. Coupled with qualitative findings that reveal user preference for varied interactions and tendency to adapt to bot patterns, predictability and transparency of designing chatbot interaction are discussed in terms of managing user expectations in human-AI interaction.

In sum, the findings of this study shed light on designing human-AI interaction. Chatbots can be a potential means of supporting guided disclosure on lifes most difficult experiences. Yet the interaction between a machine algorithm and an innate human cognition bears interesting questions for the HCI community, especially in terms of user autonomy, interface predictability, and design transparency. Discussing the notion of algorithmic affordances in AI agents, this work proposes meaning-making as novel interaction design metaphor: In the symbolic interaction via language, AI nudges users, which inspires and engages users in their pursuit of making sense of lifes agony. Not only does this metaphor respect user autonomy but also it maintains the veiled workings of AI from users for continued engagement.

This work makes the following contributions. First, it designed and implemented chatbots that can provide guidance to encourage user narratives in self-reflection. Next, it offers empirical evidence on chatbot-guided disclosure and discusses implications for tensions and challenges in design. Finally, this work proposes meaning-making as a novel design metaphor. It calls for the responsible design of intelligent interfaces for positive reflection in pursuit of psychological wellbeing, highlighting algorithmic affordances and interpretive process of human-AI interaction.

최근 인공지능(Artificial Intelligence; AI) 기술은 우리 삶의 면면을 매우 빠르게 바꿔놓고 있다. 특히 애플의 시리(Siri)와 구글 어시스턴트 (Google Assistant) 등 자연어 인터페이스(natural language interfaces)의 확장은 곧 인공지능 에이전트와의 대화가 인터랙션의 주요 수단이 될 것임을 능히 짐작케 한다. 실상 인공지능 에이전트는 실생활에서 콘텐츠 추천과 온라인 쇼핑 등 다양한 서비스를 제공하고 있지만, 이들의 대부분은 과업-지향적이다. 즉 인공지능은 우리의 삶을 편리하게 하지만, 과연 편안하게 할 수 있는가? 본 연구는 편하지만 편하지 않은 현대인을 위한 기술의 역할을 고민하는 데에서 출발한다.

자아성찰(self-reflection), 즉 자신에 대해 깊이 생각해 보는 활동은 자기인식과 자기이해를 도모하고 배움과 목표의식을 고취하는 등 분야를 막론하고 널리 연구 및 적용되어 왔다. 하지만 자아성찰의 가장 큰 어려움은 스스로 건설적인 성찰을 도모하기 힘들다는 것이다. 특히, 부정적인 감정적 경험에 대한 자아성찰은 종종 우울감과 불안을 동반한다. 극복이 힘든 경우 상담 또는 치료를 찾을 수 있지만, 사회적 낙인과 잣대의 부담감으로 꺼려지는 경우가 다수이다.

성찰 디자인(Reflection Design)은 인간-컴퓨터상호작용(HCI)의 오랜 화두로, 그동안 효과적인 성찰을 도울 수 있는 디자인 전략들이 다수 연구되어 왔지만 대부분 다양한 사용자 데이터 수집 전략을 통해 과거 회상 및 해석을 돕는 데 그쳤다. 최근 소위 챗봇 상담사가 등장하여 심리상담과 치료 분야에 적용되고 있지만, 이 또한 성찰을 돕기보다는 효율적인 처치 도구에 머무르고 있을 뿐이다. 즉 기술은 치료 수단이거나 성찰의 대상이 되지만, 그 과정에 개입하는 경우는 제한적이라고 할 수 있다.

이에 본 연구는 성찰 동반자로서 대화형 에이전트인 챗봇을 디자인할 것을 제안한다. 이 챗봇의 역할은 사용자의 부정적인 감정적 경험 또는 트라우마에 대해 이야기할 수 있도록 도울 뿐 아니라, 그 과정에서 반추를 통제하여 건설적인 내러티브를 이끌어 내는 가이드를 제공하는 것이다. 이러한 챗봇을 설계하기 위해, 선행 연구를 기반으로 사용자의 자기노출(user self-disclosure)과 챗봇 가이드(guidance)를 두 축으로 한 디자인 공간(design space)을 정의하였다. 그리고 자기노출과 가이드의 정도에 따른 네 가지 자아성찰 경험을 분류하였다: 자기노출과 가이드가 최소화된 회상 공간, 자기노출이 위주이고 가이드가 최소화된 설명 공간, 자기노출과 챗봇이 이끄는 가이드가 혼합된 탐색 공간, 가이드를 적극 개입시켜 자기노출을 높이는 변화 공간이 그것이다.

본 연구의 목표는 상술된 디자인 공간에서의 성찰 경험과 과정을 돕는 챗봇을 구현하고, 사용자 실험을 통해 성찰 경험과 디자인 전략에 대한 반응을 수집 및 분석함으로써 챗봇 기반의 자아 성찰 인터랙션을 새롭게 제시하고 이에 대한 실증적 근거를 마련하는 것이다. 현재까지 많은 성찰 기술은 회상에 집중되어 있기에, 나머지 세 공간에서의 성찰을 지원하는 보노봇과 기본형반응형 일기봇을 디자인하였다. 또한, 사용자 평가를 바탕으로 도출한 연구결과를 통해 도래한 인간-인공지능 상호작용(human-AI interaction)의 맥락에서 성찰 동반자로서의 챗봇 기술이 갖는 의미와 역할을 탐구한다.

보노봇과 일기봇은 인간중심상담과 대화분석의 이론적 근거를 바탕으로 한 정서지능(emotional intelligence)과 절차지능(proecedural intelligence)을 핵심 축으로, 대화 흐름 제어(flow manager)와 발화 생성(response generator)을 핵심 모듈로 구현하였다. 먼저, 보노봇은 동기강화상담(motivational interviewing)을 기반으로 고민과 스트레스에 대한 내러티브를 이끌어내어, 이에 대한 해결을 위한 가이드 질문을 통해 변화를 위한 성찰을 돕는다. 챗봇의 구현을 위해, 동기강화상담의 네 단계 대화를 설정하고 각 단계를 구성할 수 있는 상담사 발화 행동을 관련문헌에서 수집 및 전처리 과정을 거쳐 스크립트화하였다. 또한, 사전 전처리된 문장이 맥락을 유지할 수 있는 대화에 쓰일 수 있도록, 대화의 주제는 대학원생의 어려움으로 한정하였다.

보노봇과의 대화가 사용자의 성찰에 미치는 영향과 이에 대한 인식을 탐색하기 위해 질적 연구방법을 사용하여 30명의 대학원생과 사용자 실험을 진행하였다. 실험결과, 사용자는 변화 대화를 유도할 수 있는 다양한 탐색 질문을 선호하였다. 또한, 사용자의 맥락에 정확히 들어맞는 질문과 피드백은 사용자를 더욱 적극적인 자기 노출로 이끌게 할 수 있음을 발견하였다. 그러나 챗봇이 마치 상담사처럼 대화를 이끌어갈 경우, 높아진 사용자의 기대 수준으로 인해 일부 사용자가 변화에 대한 동기를 표출하였음에도 불구하고 변화에 대한 자율성을 챗봇에 양도하려는 모습 또한 나타남을 분석하였다.

보노봇 연구를 바탕으로 일기봇은 챗봇 대신 사용자가 보다 적극적으로 성찰 내러티브를 전개할 수 있도록 디자인하였다. 일기봇은 트라우마에 대한 표현적 글쓰기를 지원하는 챗봇으로, 기본형 또는 반응형 대화를 제공한다. 기본형 대화는 트라우마에 대해 자유롭게 설명할 수 있는 대화 환경을 제공하고, 반응형 대화는 사용자가 작성한 내러티브에 대한 후속 인터랙션을 통해 과거의 경험을 재탐색하도록 하였다. 또한, 후속 인터랙션의 발화 행동은 다양한 상담치료에서 발췌하되 유저의 내러티브에서 추출한 감정어 및 인간관계 키워드를 활용하도록 하였다.

각 일기봇에 대한 반응을 비교 분석하기 위해, 챗봇 없이 도큐먼트에 표현적 글쓰기 활동만을 하는 대조군을 설정하고 30명의 사용자를 모집하여 각 조건에 랜덤으로 배정, 설문과 면담을 동반한 4일간의 글쓰기 실험을 진행하였다. 실험결과, 사용자는 일기봇과의 인터랙션을 통해 보이지 않는 가상의 청자를 상상함으로써 글쓰기를 대화 활동으로 인지하고 있음을 알 수 있었다. 특히, 반응형 대화의 후속 질문들은 사용자로 하여금 상황을 객관화하고 새로운 관점으로 생각해 볼 수 있는 효과를 거두었다. 반응형 대화에서 후속 인터랙션을 경험한 사용자는 일기봇의 인지된 즐거움과 사회성, 신뢰도와 재사용 의향에 대한 평가가 다른 두 조건에서보다 유의하게 높았다. 반면, 기본형 대화 참여자는 다른 두 조건에서보다 감정적 표현의 용이성과 글쓰기의 어려움을 각각 유의하게 높게, 그리고 낮게 평가하였다. 즉, 챗봇은 많은 인터랙션 없이도 청자의 역할을 수행할 수 있었지만, 후속 질문을 통한 인터랙션이 가능했던 반응형 대화는 더욱 적극적인 유저 참여(engagement)를 이끌어낼 수 있었다. 또한, 실험이 진행됨에 따라, 사용자가 반응형 일기봇의 알고리즘에 자신의 글쓰기 주제와 단어 선택 등을 맞게 바꾸어 가는 적응적(adaptive) 행동이 관찰되었다.

앞선 연구결과를 통해, 다양한 챗봇 디자인 전략을 바탕으로 사용자의 내러티브가 다르게 유도될 수 있으며, 따라서 서로 다른 유형의 성찰 경험을 이끌어낼 수 있음을 발견하였다. 또한, 자율적인 행위인 자아성찰이 기술과의 상호작용으로 호혜적 성질을 갖게 될 때 사용자의 자율성, 상호작용의 예측가능성과 디자인 투명성에서 발생할 수 있는 갈등관계(tensions)를 탐색하고 인공지능 에이전트의 알고리즘 어포던스(algorithmic affordances)를 논의하였다.

보이지 않는 챗봇 알고리즘에 의해 사용자의 성찰이 유도될 수 있다는 것은 기존의 인간-컴퓨터 상호작용에서 강조되는 사용자 제어와 디자인 투명성에서 전복을 초래하는 것처럼 보일 수 있으나, 상징적 상호작용(symbolic interaction)의 맥락에서 오히려 사용자가 알고리즘에 의해 지나간 과거에 대한 새로운 의미를 적극 탐색해나가는 과정이 될 수 있다. 본 연구는 이것을 새로운 디자인 메타포, 즉 의미-만들기(meaning-making)로 제안하고 알고리즘의 넛지(nudge)에 의한 사용자의 주관적 해석 경험(interpretive process)을 강조한다. 이것은 하나의 챗봇 알고리즘이라 할지라도 서로 다른 사용자의 다양한 성찰 경험을 유도해낼 수 있다는 것을 의미하며, 이러한 맥락에서 인공지능은 기존의 블랙 박스를 유지하면서도 사용자의 자율성을 보장할 수 있다.

본 연구는 우리와 협업하는 인공지능 챗봇 기술의 디자인에 대한 경험적 이해를 높이고, 이론을 기반으로 한 챗봇을 구현함으로써 디자인 전략에 대한 실증적 근거를 제시한다. 또한 자아 성찰 과정에 동행하는 동반자(companion)로서의 기술로 새로운 디자인 메타포를 제시함으로써 인간컴퓨터상호작용(HCI)의 이론적 확장에 기여하고, 사용자의 부정적 경험에 대한 의미 추구를 돕는 관계지향적 인공지능으로서 향후 현대인의 정신건강에 이바지할 수 있는 사회적, 산업적 의의를 갖는다.