사용자 맥락 정보에 연동하는 가변형 DM 기반 VUI에 대한 연구

Abstract

최근 VUI(Voice User Interface) 기기인 스마트 스피커가 가정 내 빠르게 보급되고 있으며, 뉴스 듣기나 음악 재생과 같은 미디어 사용뿐만 아니라 요리나 운동 등 복합적인 활동에서도 사용되고 있다. VUI는 신체적 제약이 있는 상황에서도 사용자가 멀티태스킹을 할 수 있도록 활동 과정에 따라 정보적, 인지적으로 보조하며, 누구나 쉽게 사용할 수 있다는 점에서 다양한 스마트홈 서비스에 도입될 것으로 기대된다.

이러한 배경에서 사용자의 수행을 돕기 위한 VUI를 디자인할 때, 활동 중 사용자의 상황 변화에 따라 유연하게 대응할 수 있는 DM(Dialog Management)의 중요성이 커지고 있다. 이는 여러 하위 활동들이 절차적으로 구성된 복합적인 활동에서 멀티 턴의 대화가 발생하고 관련 맥락 정보에 따라 사용자의 상황이 수시로 변화하게 되며, 이에 VUI가 적절하게 대응하지 못 한다면 오히려 사용자의 수행을 저하할 수 있기 때문이다. 따라서 복합적인 활동에서 사용자의 수행을 보조하고, 나아가 만족도 높은 사용 경험을 제공하기 위해 사용자 상황 변화에 적절하게 대응할 수 있는 DM 디자인이 필요하다.

그러나 현재 대부분의 VUI 서비스는 사용자의 상황 변화를 고려하지 않고, 대화 순서나 질의응답 내용 등이 정해진 고정형 DM을 기반으로 디자인되고 있다. 이와 관련된 VUI의 대표적인 유즈케이스로 홈트레이닝(At-home workout)이 있다. 기존 VUI 기반 홈트레이닝 서비스는 사용자의 운동 상황에 대한 고려 없이 운동 방법이나 운동 부위 등에 따라 정해진 운동량만 제시하는 고정형 DM을 기반으로 디자인되고 있다. 홈트레이닝에서 여러 운동들을 수행함에 따라 사용자의 컨디션이 수시로 변화하게 되고, 이러한 컨디션 변화를 고려하지 않고 운동을 수행하면 부상 위험이 커지고 운동 성과가 저하될 수 있다는 문제가 있다. 따라서 홈트레이닝을 위한 VUI는 운동 중 사용자의 컨디션 변화와 같은 상황 변화를 파악하고, 그에 따라 DM을 변형하여 적절한 트레이닝을 제시하는 가변형 DM을 기반으로 디자인해야 한다.

또한, 이러한 가변형 DM 디자인에서 DM을 변형하기 위한 기준으로서 사용자 맥락 정보를 어떻게 파악할 것인지가 중요하다. 기존 접근 방식대로 사용자의 발화 표현을 활용할 수도 있지만, 소요 시간이나 활동량 등 발화 외 활동 정보를 유용하게 활용할 수 있다. 홈트레이닝에서 운동 중 컨디션 변화를 사용자의 발화 표현과 같은 주관적인 정보에서 파악하는 것보다 운동 페이스(운동 시간 대비 운동량)와 같은 객관적인 정보에서 유추하여 트레이닝을 변형하는 것이 VUI가 사용자의 운동 수행을 보조하는 데 적절한 접근 방식이라고 할 수 있다.

따라서 본 연구는 홈트레이닝과 같은 복합적인 활동 중 사용자의 맥락 정보를 파악하기 위한 대화 방식을 도출하고, 파악한 상황 변화에 따라 적절하게 DM을 변형할 수 있는 가변형 DM 기반 VUI 디자인을 목적으로 한다. 이를 위해, 세 가지 연구 문제를 설정하고 결론을 도출하였다. 첫째, 복합적인 활동에서 DM의 사용자 상황 반영 여부가 사용자의 수용에 미치는 영향을 알아보기 위해 파일럿 실험을 진행하였다. 그 결과, 가변형 DM이 고정형 DM보다 사용 만족도와 몰입도가 더 높다는 것을 확인할 수 있었으며, 이를 바탕으로 본실험 설계를 위한 실험 변수를 설정하였다. 둘째, 활동 중 사용자 맥락 정보를 파악하기 위한 적절한 대화 방식을 도출하기 위해 실험을 진행하였다. 그 결과, 간접 대화 방식이 직접 대화 방식보다 사용성이 좋고 작업 부하가 낮다는 것을 검증하였으며, 이를 바탕으로 사용자 맥락 정보의 DM 연동 방식에 대한 인사이트를 도출했다. 셋째, 사용자 상황 인식에 따른 DM의 적절한 변형 방식을 도출하기 위한 실험을 진행하였다. 그 결과, 적절성, 유용성, 변형 인식에서 개별 변형 방식을 전체 변형 방식보다 선호하는 것으로 나타났다. 또한, 사용성은 개별 변형 방식이 더 높았으나, 작업 부하는 전체 변형 방식이 더 낮은 것으로 나타났다. 추가로 운동 수행을 분석한 결과, 변형 방식에 따른 사용자의 주관적 운동 강도에 차이가 없었으며, 개별 변형 방식이 운동 페이스 향상에 긍정적인 영향을 주는 것을 확인할 수 있었다.

본 연구는 사용자의 발화 표현이 아닌 발화 외 활동 정보에 연동하는 가변형 DM을 디자인했다는 점에서 기존 연구와 차별성을 가진다. 또한 Google Dialogflow를 통해 프로토타입을 제작하여 In-situ에서 실험을 진행하고, 가변형 DM 기반 VUI의 디자인 가이드라인을 제시했다는 점에서 산업적 의의가 있다. 마지막으로 퍼스널 트레이닝 측면에서 운동 페이스 조절 개념을 기반으로 홈트레이닝을 위한 VUI를 디자인했다는 점에서 융합적 의의가 있다.

Recently, VUI (Voice User Interface) devices are used not only for media use such as listening to news or music but also for complex activities such as cooking and workouts. VUI is expected to be adapted into various smart home services in that it provides information and cognitive assistance according to the activity steps so that users can multitask even when there is a physical restriction.

When designing a VUI to assist the user, the importance of DM (Dialog Management), which can adaptively respond to the users situation change, is increasing. Because the users situation is continuously changed according to context related to the activity, so if the VUI does not assist the user appropriately, it may degrade the users performance. Therefore, it is necessary to design a VUI based on adaptive DM that can catch context information that affects the situation and assist users adaptively.

However, most VUI services are designed based on fixed DM in which the order of conversation and the contents of questions and answers are determined without considering changes in the user's situation. A related use case is at-home workouts. The existing VUI-based at-home workouts service is designed based on a fixed DM, such as presenting only a prescribed amount of exercise according to the workout method or body parts without considering the user's workouts situation. During the at-home workouts, the physical condition changes as the user perform various workouts, and if the workout is performed without considering the physical condition change, there is a problem that the risk of injury may increase, and workout performance may deteriorate. Therefore, the VUI for at-home workouts should be designed based on the adaptive DM that grasps the situation change such as the physical condition changes during workouts and transforms the conversation method to properly present the training.

In addition, in this adaptive DM design, it is important which context information is used as a criterion for transforming the conversation method. Although it is possible to use a user's utterance according to an existing approach, it is possible to utilize information other than speech, such as time and amount of activity. It is a more appropriate approach to infer physical condition information from objective information such as an exercise pace than to grasp physical condition information from subjective information such as a user's utterance.

However, how we can design the context-adaptive DM by utilizing such user physical condition information remains to be determined. Therefore, this study aims to derive a dialogue method for grasping the user's condition information during workouts and to design a flexible DM that can appropriately transform the training method according to the identified condition change. To this end, three research problems were set, and conclusions were drawn. First, a pilot experiment was conducted to investigate the influence of DM's user context-aware on user acceptance. As a result, it was found that the adaptive DM had a higher level of satisfaction and engagement than the fixed DM. Second, an experiment was conducted to derive an appropriate conversation method to grasp changes in user condition during workouts. As a result, it was verified that the indirect conversation method has better usability and lower workload than the direct conversation method, and based on this, insights on the DM linkage method of user context information were derived. Third, an experiment was conducted to derive an appropriate adaptation method of DM according to changes in user condition. As a result, it was found that the individual adaptation method was preferred to the overall adaptation method in appropriateness, usefulness, and adaptation recognition. In addition, the usability was higher in the individual adaptation method, but the workload was lower in the comprehensive adaptation method. In addition, as a result of exercise performance analysis, there was no difference in the Rating of Perceived Exertion (RPE) according to the adaptation method, and it was confirmed that the individual adaptation method positively influences the improvement of the exercise pace.

This study has significance in that it designed an adaptive DM that is linked to the activity context rather than the user's utterance. In addition, it has industrial significance in that it has implemented a prototype through Google Dialogflow, conducted an in-situ experiment, and presented design guidelines adaptive DM that can be used in various smart home services. Lastly, in terms of personal training, VUI for At-home workouts was designed based on the concept of exercise pacing.