User Centered Study on User Experience of Voice User Interfaces for Users with Disabilities: Focusing on Intelligent Personal Assistants

Abstract

In recent years, research on Voice User Interfaces (VUIs) has been actively conducted. The VUI has many advantages which can be very useful for the general public as well as for elderly people and people with disabilities. The VUI is considered very suitable for individuals with disabilities to promote universal access to information, decreasing the gap between users with non-disabilities and users with disabilities. In this respect, many researchers have been trying to apply the VUI to various areas for people with disabilities to increase their independence and quality of life. However, previous studies related to VUIs for people with disabilities usually focused on developments and evaluations of new systems, and empirical studies are limited. There have been a few studies related to User Experience (UX) of VUIs for people with disabilities. This situation is not different with studies related to Intelligent Personal Assistants (IPAs) which one of the most wildly being used VUIs nowadays. Although IPAs have potential to be practically used for users with disabilities because they can perform various tasks than simple VUIs, research related to UX of IPAs for them has been paid little attention to, only focusing on a young adult and middle-aged group among people with non-disabilities as end-users. Many previous studies referred to that IPAs would be helpful to people with disabilities. However, only a few studies related to IPAs have been conducted from the angle of users with disabilities, especially in terms of UX. It is known for that investigating usability and UX for users with disabilities is more difficult and delicate than that of users with non-disabilities. It can be said that research on UX of IPAs for users with disabilities should be conducted more closely to understand their interactions with IPAs. The purpose of the research in this dissertation is to investigate UX of VUIs for users with disabilities, focusing on IPAs. The research in this dissertation consists of three independent main studies. Study 1 investigates UX of commercially available VUIs for users with disabilities, by examining acceptance, focusing on the differences between users with different types of disabilities and identifying the reasons why they use or not use VUIs. A questionnaire survey was conducted for users with disabilities having used one or more VUIs. The collected data were analyzed statistically and qualitatively. The results of this study show acceptance of VUIs and the relationships between the acceptance factors for users with disabilities, with some differences between users with different types of disabilities. The results of this study also provide some insights related to UX of VUIs for users with disabilities from their perspective, showing that the acceptance factors can be used as criteria in comprehending the issues. Study 2 investigates UX of IPAs based on online reviews written by users through semantic network analysis. Before investigating UX of IPAs for users with disabilities, important factors for UX of IPAs were proposed by investigating UX of IPAs for users with non-disabilities in this study. As a case study, online reviews on smart speakers from the internet were collected. Then, the collected text data were preprocessed and structured in which words having similar meaning were clustered into one representative keyword. After this, the frequency of the keywords was calculated, and keywords in top 50 frequency were used for the analysis, because they were considered core keywords. Based on the keywords, a network was visualized, and centrality was measured. The results of this study show that most of the users were satisfied with the use of IPAs, although they felt that the performance of them was not completely reliable. In addition, the results of this study show aesthetic aspects of IPAs are also important for users enjoyment, especially for the satisfaction of users. This study proposes eleven important factors to be considered for UX of IPAs and among them, suggests ten factors to be considered in the design of IPAs to improve UX of IPAs and to satisfy users. Study 3 investigates UX of IPAs for users with disabilities and identifies how the use of IPAs affects quality of life of them, based on Study 1 and Study 2. In this study, comparisons with users with non-disabilities are also conducted. A questionnaire survey and a written interview were conducted for users with disabilities and users with non-disabilities having used one or more smart speakers. The collected data were analyzed statistically and qualitatively. The results of this study show that, regardless of disability, most users are sharing the main UX of IPAs and can benefit the use of IPA. The results of this study also show that the investigation on qualitative data is essential to the study for users with disabilities, offering various insights related to UX of IPAs from the angle of them and clear differences in UX of IPAs between users with disabilities and users with non-disabilities. This study proposes important factors for UX of IPAs for users with disabilities and users with non-disabilities based on the discussed factors for UX of IPAs in Study 2. This study also discusses various design implications for UX of IPAs and provides three important design implications which should be considered to improve UX, focusing on the interaction design of IPAs for not only users with disabilities but also all potential users. Each study provides design implications. Study 1 discusses design implications for UX of VUIs for users with disabilities. Study 2 suggests design implications for UX of IPAs, focusing on users with non-disabilities. Study 3 discusses various design implications for UX of IPAs and proposes three specific implications focusing on the interaction design of IPAs for all potential users. It is possible to expect that reflecting the implications in the interaction design of IPA will be helpful to all potential users, not just users with disabilities.

최근에 들어와 음성 사용자 인터페이스들(Voice User Interfaces, VUIs)에 대한 연구가 활발히 진행되고 있다. VUI는 일반적인 사람들은 물론, 고령자 및 장애인들에게도 매우 유용한 많은 장점들을 가지고 있다. VUI는 장애인들에게 보편적 정보 접근을 용이하게 한다는 점에서 장애인과 비장애인 간 존재할 수 있는 정보 격차를 줄이는 매우 유용한 역할을 할 수 있다. 이러한 관점에서, 많은 연구자들은 장애인들의 독립성과 삶의 질을 높이기 위해 VUI를 다양한 영역에 적용하려고 하고 있다. 하지만, 장애인들을 위한 VUIs와 관련된 선행연구들은 대부분 새로운 시스템의 개발 및 평가에 중점을 두고 있으며 경험적 연구는 제한적이다. 특히, 장애인을 위한 VUIs와 관련된 연구들 중 사용자경험(User Experience, UX)에 대한 연구는 상당히 드물다. 이러한 상황은 오늘날 가장 많이 사용되는 VUIs 중 하나인 지능형 개인 비서들(Intelligent Personal Assistants, IPAs)에 대한 연구에서도 마찬가지이다. IPAs는 단순한 VUIs보다 다양한 작업을 수행할 수 있기 때문에 장애가 있는 사용자들에게 매우 실용적으로 사용될 수 있다. 하지만, IPAs의 UX 관련된 연구는 거의 주목받지 못 하고 있으며, 비장애인 중 청년 및 중년층만이 최종 사용자들로 고려되고 있다. 이전의 많은 선행연구들은 IPAs가 장애가 있는 사람들에게 큰 도움이 될 수 있다고 입을 모아 말한다. 그러나 실재로 장애인 사용자들의 입장에서 진행된 IPAs와 관련된 연구는 별로 없으며 IPAs의 UX 관련된 연구는 더욱 부족한 상황이다. 비장애인 사용자들과 비교했을 때 장애인 사용자들의 입장에서 사용성(usability) 및 UX를 조사하는 것은 복잡하고 어려운 일이다. 그렇기에 장애가 있는 사용자를 위한 IPAs의 UX에 대한 연구가 보다 철저히 이루어져야 한다고 볼 수 있다. 이러한 배경을 두고, 본 학위논문의 연구 목적은 장애인 사용자들을 대상으로 IPAs에 중점을 두고 VUIs의 UX를 조사하는 것이다. 본 학위논문은 크게 세 개의 독립적인 연구로 이루어져 있다. 연구 1에서는 다른 장애를 가지고 있는 장애인 사용자들의 차이들과 그들이 VUIs을 사용하거나 사용하지 않는 이유를 파악하는데 중점을 두고, 상용화된 VUIs의 UX를 조사한다. 하나이상의 VUIs를 사용한 경험이 있는 장애인 사용자들을 대상으로 설문조사를 하였다. 수집된 데이터는 통계적으로 그리고 정성적으로 분석하였다. 이 연구의 결과들은 장애인 사용자들의 장애유형에 따라 VUIs의 수용도(acceptance)와 수용도 요인들 간 관계에 차이가 있다는 것을 보여준다. 또한, 이 연구의 결과들은 수용도 요인들이 VUIs의 UX 이슈들을 이해하는데 사용될 수 있다는 것을 보여줌과 함께 장애인 사용자들을 위한 VUIs의 UX와 관련된 다양한 인사이트들(insights)을 제공해준다. 연구 2에서는 의미 신경망(semantic network) 분석을 통해 사용자가 작성한 온라인 리뷰를 기반으로 IPAs의 UX를 조사한다. 해당 연구는 장애인 사용자들에 대한 IPAs의 UX를 조사하기 전에 비장애인 사용자들에 대한 IPAs의 UX를 조사하여 IPAs의 UX와 관련하여 중요하게 고려해야 할 요인들을 제안하였다. 이를 위해 사례 연구로, 인터넷에서 스마트 스피커에 대한 온라인 리뷰들을 수집하였다. 그 후, 텍스트 데이터를 전처리 및 구조화였고, 이 과정에서 유사한 의미를 갖는 단어들이 있을 경우 하나의 대표 키워드로 변환하였다. 이 과정을 거친 후, 키워드들에 대한 빈도수를 계산하여, 빈도수 상위 50개의 키워드들이 핵심 키워드들로 보였기에, 빈도수 상위 50개의 키워드들을 분석에 사용했다. 이 키워드들을 바탕으로 네트워크를 시각화 하였고 중심성(centrality)을 계산했다. 이 연구의 결과들은 비록 IPAs의 성능에 대해서 완전히 신뢰하지는 못 하고 있더라도 대부분의 사용자들이 IPAs 사용에 만족하고 있었다는 것을 보여준다. 또한 이 연구의 결과들은 IPAs의 심미적 측면들이 사용자들의 즐거움과 만족에 중요하다는 것을 보여준다. 이 연구는 IPAs의 UX를 위해 고려해야 할 열 한 개의 중요 요인들을 제안하고, 그 중에서 사용자들을 만족시키고 IPAs의 디자인 시 고려해야 할 필요가 있는 열 개의 요인들을 시사해준다. 연구 3에서는, 연구 1과 연구 2를 바탕으로, 장애인 사용자들을 대상으로 IPAs의 UX에 대해 조사하고 IPAs의 사용이 그들의 삶의 질(quality of life)에 어떠한 영향을 주는지에 대해서 알아보고자 한다. 이 과정에서 비장애인 사용자들과 비교 또한 이루어졌다. 하나이상의 IPAs를 사용하고 있는 장애인 사용자들과 비장애인 사용자들을 대상으로 설문조사와 서면 인터뷰를 진행하였다. 수집된 데이터는 통계적으로 그리고 정성적으로 분석하였다. 이 연구의 결과들은, 장애 유무와 상관없이, 대부분의 사용자들이 주요 IPAs의 UX를 공유하고 있으며 IPAs 사용에 혜택을 누리고 있다는 것을 보여준다. 또한, 이 연구의 결과들은 장애인 사용자들의 입장에서 IPAs의 UX와 관련된 다양한 인사이트들과 함께 두 사용자 그룹 간 명확한 차이가 있다는 것을 보여줌으로써 이들을 대상으로 한 연구에서 정성적 데이터에 대한 분석이 필수적이라는 사실을 보여준다. 이 연구는, 연구 2에서 논의된 요인들을 바탕으로, 장애인 사용자들과 비장애인 사용자들을 위한 IPAs의 UX에 있어 중요 요인들을 제안한다. 또한 이 연구는 IPA의 UX에 대한 다양한 디자인 함의들(implications)을 논의하고, 장애가 있는 사용자들뿐만 아니라 모든 잠재적 사용자들을 고려한 IPA의 상호 작용 설계에 중점을 둔 구체적인 세 개의 디자인 함의들을 제공한다. 각 연구는 디자인 함의들을 제공한다. 연구 1에서는 장애인 사용자들을 대상으로 VUIs의 UX를 위한 디자인 함의들을 논의한다. 연구 2에서는 비장애인 사용자들에게 초점을 두고 IPAs의 UX를 위한 디자인 함의들을 제시한다. 연구 3에서는 장애인 사용들만이 아닌 모든 잠재적 사용자들에게 도움이 될 수 있는 다양한 디자인 함의들을 논의하고 IPA의 상호 작용 설계에 중점을 둔 구체적인 세 개의 디자인 함의들을 제안한다. 이러한 함의들을 IPAs의 디자인에 반영하는 것은 장애인 사용자들뿐만 아니라 잠재적인 모든 사용자들에게 도움이 될 것이다.