콘텐츠형 Voice User Interface에서의 무응답 대응방식에 대한 연구

Abstract

음성 사용자 인터페이스(Voice User Interface, VUI)는 음성 인식 기술을 바탕으로 인간의 말에서 의미를 분석하여 인간-기계 상호작용을 가능하게 하는 인터페이스 방식이다. VUI는 음성 인식 기술의 발전으로 빠르게 보급되었고, 이에 따라 다양한 기기에 VUI가 적용되어 이제 어디서든 VUI를 사용할 수 있게 되었다.

아마존 에코, 구글홈 등의 다양한 스마트스피커가 확산되면서 각 기업에서는 개발에 용이한 툴킷을 배포하여 제공하고 있으며, 이로 인해 제3자 개발 서비스도 증가하고 있다. 이러한 서비스에는 기존처럼 한번의 요청에 한번의 응답을 제공하고 종료하는 경우도 있지만, 여러번의 인터랙션이 오고 가거나 제공되는 콘텐츠 자체의 길이가 길어진 콘텐츠형 VUI(Voice User Interface)가 다수 존재한다. 이러한 콘텐츠형 VUI는 기존에 사용자들이 익숙한 빠른 턴테이킹을 기반으로 하는 인터랙션과는 턴테이킹의 수, 간격 그리고 세션의 길이에 있어서 큰 차이를 보인다. 이러한 콘텐츠형 VUI를 디자인하기 위해서는 사용하는 사용자들의 행태와 니즈에 대한 파악도 중요하지만, 이러한 인터랙션의 특성에 대한 고려도 반드시 필요하다.

콘텐츠형 VUI에서는 일반적인 기능 중심의 VUI에서보다 사용자의 입력이 부재하는 무응답 상황이 자주 발생한다. 본 연구는 콘텐츠형 VUI에서 나타나는 무응답 상황에 대해 이해하기 위한 조사와 이를 기반으로 제작한 프로토타입을 제작 및 배포하여 평가하는 두 개의 사용자 조사로 이루어져 있다.

첫번째 사용자 조사에서는 클래식 메이트라는 콘텐츠형 VUI를 제작하여 배포하였고, 15일간 25명의 참여자를 대상으로 사용자 조사를 실시하였다. 이를 통해, 무응답이 실제로 얼마나 발생하는지, 무응답의 발생 원인은 무엇인지, 사용자 별로 유형이 달리 나타나는지를 살펴보고자 했다.

사용 로그 데이터를 기반으로 분석을 시도하 결과, 총 363개의 사용 로그 데이터 중에서 22.87%는 사용자가 이용 중간에 주의를 놓쳐 입력 타이밍을 놓쳤다는 것을 발견할 수 있었다. 이러한 문제의 이유는 크게 세 가지였다. 첫 번째, 모든 사용자는 콘텐츠형 VUI를 사용하면서 병행 활동을 하고 있었다. 두 번째, 많은 사용자가 콘텐츠형 VUI를 사용하는 중간에 물리적 이동으로 인해, 콘텐츠형 VUI의 응답 요청을 인지하지 못했다. 마지막으로, 소수의 사용자들은 콘텐츠형 VUI를 루틴 설정을 통해, 매일 아침 알람으로 사용한 경우가 있었다. 그러나 마지막의 경우는 의도적인 무응답으로 간주되어, 사용 행태적 특성으로 보지 않았다.

두번째 사용자 조사에서는, 세 가지 무응답 대응방식을 적용한 프로토타입을 제작하여, 사용자들에게 제공하고 사용성과 작업 부하를 평가하도록 했다. 기존 방식은 무응답 상황이 발생하면, 즉시 사용자의 입력을 재요청한다. 두번째 방식은, 즉시 입력을 재요청하지 않고, 앞 콘텐츠로 되감았다가 요청한다. 마지막 방식은, 사용자의 사용 기록을 기반으로 자동으로 진행한다. 14명의 참여자를 대상으로 각 포로토타입을 5일씩 총 15일 동안 사용하도록 했고, 그 결과 사용 기록 기반의 자동 대응방식이 사용성과 작업 부하에서 모두 통계적으로 유의미하게 좋은 평가를 받았다. 두 개의 사용자 조사의 연구 결과를 바탕으로, 콘텐츠형 VUI를 디자인하기 위해 고민해야할 부분을 논의점으로 다루고, 각각에 대해 시스템적으로 제언했다. 첫째, 콘텐츠형 VUI는 사용자의 주의분산을 간과해서는 좋은 사용 경험을 만들 수 없다. 적지 않은 비율로 무응답 상황에 노출되고, 절반 이상의 사용자는 무응답 상황을 경험하기 때문이다. 둘째, 무응답 상황에서, 사용자의 이전 기록을 콘텐츠형 VUI진행을 위한 데이터로 활용할 수 있다. 이외에도 콘텐츠형 VUI를 진행하기 위해 다른 어떤 데이터를 활용할 수 있을지에 대한 고민도 필요하다.

본 연구는 원격으로 각 참여자의 집에서 조사를 진행했기 때문에, 온전한 통제가 어려웠다는 데 한계가 있다. 또한 유형을 나누기에는 부족한 참여자 수와 조사 기간을 한계로 볼 수 있다.

그러나 일반적인 싱글턴 인터랙션과 태스크가 명확한 기능 중심의 VUI와 달리 새롭게 등장하고 있는 콘텐츠형 VUI의 사용 행태를 살펴봤다는 점에서 시의적으로 VUI 연구 분야의 확장에 기여했다. 또한 콘텐츠형 VUI가 실제 사용자에게 사용되는 행태를 탐구하고, 콘텐츠형 VUI 경험의 증진을 위한 설계를 제언했다는 점에서 의의가 있다.

Voice User Interface (VUI) is an interface method that enables human-machine interaction by analyzing meaning in human speech based on speech recognition technology. The VUI was rapidly disseminated with the development of voice recognition technology, thereby applying the VUI to various devices, making it now available anywhere.

With the spread of various smart speakers such as Amazon Echo and Google Home, each company is distributing and providing toolkits that are easy to develop, and third-party development services are also increasing. These services sometimes provide and terminate a single request as before, but there are many VUIs (Voice User Interface) that are content-type, which are longer than or between interactions. These content-type VUIs differ greatly in the number, spacing, and length of sessions from interactions based on fast turn-taking that users are familiar with. In order to design this content-type VUI, it is important to understand the behavior and needs of the users used, but consideration of the nature of these interactions is also essential.

In a content-type VUI, non-response situations occur more often than in a typical function-oriented VUI with no user input. This study consists of two user surveys to understand the non-response situation in a content-type VUI and to produce and distribute prototypes based on it.

The first user survey produced and distributed a content-type VUI called 'Classic Mate' and conducted a 15-day user survey of 25 participants. Through this, we wanted to see how many non-response actually occurred, what caused non-response, and whether different types of non-response occur for different users.

Analysis attempts based on usage log data showed that 22.87% of the total 363 usage log data were found to have missed the input timing due to the user's missed attention in the middle of use. There were three main reasons for this problem. First, all users were doing parallel activities using a content-type VUI. Second, many users were not aware of the VUI's response requests because of the physical movement in the middle of using the content-type VUI. Finally, a small number of users used the content-type VUI as an alarm every morning through routine settings. However, the last case was considered intentional no-response, and was not considered to be a use behavior characteristic.

In the second user survey, a prototype with three non-response responses was created to provide users with and assess usability and workload. The existing method immediately re-requests user input when an unresponsive situation occurs. The second method does not immediately request input, but rewinds it to the previous content and then requests it. The last method automatically proceeds based on the user's history of use. Fourteen participants were given a total of 15 days of use, five days each, and as a result, the automatic response based on usage records received statistically significant good reviews for both usability and workload. Based on the research results of the two user surveys, the points to be considered for designing a content-type VUI were addressed as a point of discussion, and systemically suggested for each. First, a content-type VUI cannot create a good user experience by overlooking the user's attention distribution. This is because they are exposed to non-response situations at a considerable rate, and more than half of users experience non-response situations. Second, in non-response situations, users' previous records can be used as data for content-type VUI progression. In addition, we also need to think about what other data we can use to proceed with the content-type VUI.

This study was conducted remotely at each participant's home, so there was a limit to the difficulty of full control. In addition, the number of participants and the duration of the survey may be limited to the number of participants who are insufficient to divide the type.

However, common single-turn interactions and tasks have contributed to the expansion of the VUI research field in that they have looked at the emerging use of content-type VUIs, unlike clear function-oriented VUIs. It is also meaningful in that the content-type VUI explored the behavior used by actual users and proposed a design to enhance the content-type VUI experience.