챗봇과 온라인 설문 조사의 설문 문항에 따른 응답 품질 비교 분석

Abstract

설문조사는 모집단의 속성을 가장 잘 이해할 수 있게 해주는 중요한 방법들 중에 하나이다. 최근에는 온라인 설문조사가 가장 많이 사용되기는 하지만 여전히 낮은 응답률이나 응답품질이 떨어지는 문제점이 있다. 본 논문에서는 설문조사의 새로운 방법으로서 주관적 의견, 객관적 사실 및 개인정보와 같은 질문의 종류에 따라 챗봇이 유용성이 있는지에 대해 학문적으로 연구해보고 챗봇을 통한 설문과 기존의 온라인을 이용한 설문의 차이점에 대해 비교 실험을 하여 분석을 하였다. 이러한 연구목표를 달성하기 위해 Iterative design process를 이용하여 설문조사를 위한 챗봇 prototype을 만들어 여러 번의 실험을 통해서 받은 피드백을 통해 디자인을 개선하도록 하였다. 챗봇은 fluenty.ai 플랫폼과 Chatfuel 플랫폼을 사용하여 제작하였으며 페이스북 메신저를 기반으로 운용하도록 설계되었다. 여러 번에 걸친 User Study를 통해 부드러운 말투나 감정의 교감 등의 Human Nature와 관련된 요소들이 설문조사의 결과에 긍정적인 기여를 하는 것으로 파악이 되었다. 이러한 특징을 챗봇의 주요한 요소로 정의하고 온라인 설문조사와의 비교 실험을 통해 질문 종류에 따라 응답에 대한 No Response, 응답 길이 및 Differentiation에 대해 정량적인 결과를 바탕으로 챗봇 설문조사가 온라인 설문조사보다 객관적 사실 및 주관적 의견에서 응답 품질의 차이가 있음을 확인할 수 있었다. 사후 인터뷰를 통해 챗봇 설문조사에 대한 정성적인 분석도 진행이 되었으며 그 결과로 챗봇을 통해 설문조사에 대한 몰입감이 높아졌으며 그 유용성도 확인 되었다. 본 연구를 통해 챗봇이 설문조사의 한 가지 중요한 방법론으로 사용될 수 있으며 그 결과가 효과적일 수 있음을 보여주는 이론적인 토대를 마련할 수 있게 되었고 주관적인 의견이 필요한 설문에 대해서는 챗봇이 온라인 설문조사에 비해 더욱 효과적임을 알수 있었다. 그리고 여러 번의 실험을 통해 파악된 챗봇을 설문조사에 응용하기 위해 참고할 만한 몇 가지 디자인 고려사항을 제시한 것에도 의의가 있다.

Surveys are one of the important ways to understand the nature of a population. In recent years, online surveys are most frequently used, but they still suffer from low response rates or poor response quality. In this paper, as a new method of survey, we study whether chatbots are useful according to the types of questions such as subjective opinion, objective facts, and personal information, and discuss the differences between surveys using chatbots and surveys using online. To achieve this research goal, we created a chatbot prototype for the survey using the iterative design process to improve the design through feedback received through several experiments. The chatbot was created using the fluenty.ai platform and the Chatfuel platform and was designed to operate based on Facebook messenger. Through several user studies, it was found that factors related to Human Nature, such as soft speech and emotional sympathy, contributed positively to the results of the survey. These characteristics are defined as the main elements of the chatbot, and based on quantitative results for No Response, Response Length, and Differentiation of responses by question through comparative experiments with online surveys. It was confirmed that the chatbot survey differed in the quality of responses in objective facts and subjective opinions than online survey. A qualitative analysis of chatbot survey was also conducted through postinterviews. As a result, the engagement and usefulness of the survey was confirmed through the chatbot. This study has provided a theoretical foundation to show that chatbots can be used as an important methodology for surveys, and the results can be effective. For surveys that require subjective opinion, chatbots are more effective than online surveys. It is also meaningful to present some design considerations for reference to apply the chatbots identified through several experiments to the survey.