Publications

Detailed Information

A mixed-method approach to measuring interactive TV UX: Study of conversational agent equipped TV

DC Field Value Language
dc.contributor.advisor윤명환-
dc.contributor.author이승연-
dc.date.accessioned2020-05-19T07:48:09Z-
dc.date.available2020-05-19T07:48:09Z-
dc.date.issued2020-
dc.identifier.other000000160504-
dc.identifier.urihttps://hdl.handle.net/10371/167585-
dc.identifier.urihttp://dcollection.snu.ac.kr/common/orgView/000000160504ko_KR
dc.description학위논문(박사)--서울대학교 대학원 :공과대학 산업공학과,2020. 2. 윤명환.-
dc.description.abstract이것은 인터랙티브 TV 사용자 경험 (user experience, UX)에 관한 연구이다. Human-Computer Interaction (HCI) 분야에서 시스템 성능이나 사용성은 사용자 만족에 영향을 미치는 주요 요소로 평가되어 왔다. 시스템이 특정 분야에서 사용되거나 사용자 – 시스템 간 상호작용 범위가 제한적인 때는 이러한 접근 방식이 매우 효과적이었다. 하지만 기술의 발달로 이제 우리 주변에는 수 많은 기술이 존재하게 되었으며, 사용자는 이러한 기술을 자유롭게 선택하고 사용할 수 있게 되었다. 이는 기술의 유용성이나 사용성 이상의 가치를 필요로 함을 의미한다. 실제로 어떤 기술은 금새 사라지기도 하고 어떤 기술은 오랫동안 살아남거나 우리 삶을 더욱 풍성하게 만드는데 기여하기도 한다. 기술의 불확실성과 복잡성 때문에, 이제 산업계는 기술 그 자체보다는 사용자의 동기나 경험에 더 초점을 맞추고 있다. 사용자 경험은 성능이나 사용성뿐 아니라 재미나 즐거움 등 겉으로 들어나지 않는 감성적 품질을 포함하는 포괄적 경험을 의미한다.
TV는 우리 일상에서 가장 쉽게 접할 수 있는 엔터테인먼트 미디어 중 하나이다. 기술의 발달에 따라 새로운 기능들과 결합하면서 TV 역시 인터랙티브 제품으로 진화하고 있다. 하지만 실제로 인터랙티브 TV의 다양한 기능들이 적극적으로 활용되지 못하고 있으며 이는 사용이 불편하거나 필요 없기 때문으로 나타나고 있다. 이에 본 연구는 (1) 인터랙티브 TV 사용 경험에 영향을 미치는 주요 경험 품질 요소를 알아보고, (2) 인터랙티브 TV 사용 경험 확장을 위한 사용자 인터페이스를 비교 평가하며, (3) 인터랙티브 TV UX 모델을 구성하여 사용자 경험과 사용 만족도, 그리고 새로운 기술의 지속적인 사용 의사 간의 인과관계 검증을 연구 목표로 정하고 실증적 연구를 진행하고자 한다. 이를 위해 가장 먼저 사용자 경험에 대한 선행 연구와 UX 모델을 검토하고 연구 방법론에 대해 살펴 보았다. 첫 번째 연구 목표인 인터랙티브 TV 사용 경험에 영향을 주는 품질 요소를 찾기 위해 TV를 시청하는 사용자 행동 상황을 관찰 평가하였다. TV 시청자의 주요 행동 유형으로 목적 지향적 상황과 특별한 목적을 갖지 않고 과정 그 자체에 의미를 두는 상황을 도출하고 각각의 상황에 대한 사용자 경험을 평가하였다. 두 번째 연구 목적인 인터페이스 대안 평가를 위해서는 기존의 TV 조작 방식인 리모컨과 인터랙티브 TV 사용에 적합한 대안 중 하나로 떠오르고 있는 대화형 에이전트 (conversational agent, CA) 간 비교 평가를 실시하였다. 사용자는 두 가지 방식을 각각 이용해서 TV 시청과 관련된 과제들을 수행하고 이러한 경험에 대해 스스로 평가하였다. 동시에 사용자가 상호작용 중에서 느끼는 기분이나 감정을 객관적으로 측정하기 위한 생체 반응 측정도 실시하였다. 이와 별도로 매일 TV 시청 경험을 기록하는 필드 테스트도 진행하였다. 필드 테스트는 20가구를 대상으로 4주간 일상에서 리모컨 또는 CA를 조작하면서 TV 시청 경험을 기록하도록 하고 매 주 한 번씩 사용자 만족도와 지속 사용 의사를 측정하여 사용 경험에 따라 만족도와 사용 의사의 변화가 나타나는지 관찰하였다. 마지막으로 인터랙티브 TV UX 구조방정식 모형을 통해 사용자 경험이 사용 만족도에 미치는 품질 요소와 사용자 경험과 사용 만족도, 지속 사용 의사 간의 인과관계를 검증하기 위한 확증적 요인 분석을 실시하였다.
일련의 연구 결과는 다음과 같다: 사용자 경험은 단순히 시간을 보내기 위함이 아닌, 구체적인 시청 목적을 갖고 있을 때 더 긍정적으로 나타났으며 이러한 사용 경험에 영향을 주는 요소는 simple, controllable, innovative, impressive, and original 등이었다. 경험 품질은 사용성 차원보다 감성 차원에서 더 강하게 나타났다. 사용자 인터페이스 비교 실험에서 사용자 경험에 영향을 미치는 품질 요소는 manageable, predictable, stylish, innovative 등이었다. 생체 반응 측정 결과, 리모컨과 CA 조작 과정에서 사용자의 인지적 노력과 스트레스가 서로 다르게 나타남도 확인하였다. Skin Conductance (SC) 측정 결과, CA 상호작용에서는 주로 스트레스가 높음  낮음의 변화를 보였으나 반대로 리모컨 상호작용에서는 낮음  변화 없음 또는 낮음  높음의 변화를 보이는 경우가 많았다. 이는 사용자가 CA 에게 음성 명령을 내리는 시작 단계에서 인지적인 부담을 느낄 가능성을 의미한다. 반대로 리모컨의 경우, 조작하는 방식은 인지적 부담은 크지 않으나 메뉴를 확인하거나 여러 번 버튼을 누르는 과정에서 스트레스가 증가할 수 있음을 발견할 수 있었다. 이러한 결과에 따르면, CA와 리모컨의 역할이 서로 다르며 따라서 CA는 리모컨의 대체수단보다는 보완역할에 적합한 것으로 보인다. 이런 점에서 현재 리모컨 사용에 최적화되어 있는 TV 인터페이스는 사용자 경험 확장을 위해 CA와 리모컨 사용을 모두 고려한 인터페이스로 전환이 필요하다.
실 사용자를 대상으로 한 필드 테스트에서는 평가 전 측정 기준 대비, 4주간 사용 만족도가 꾸준히 증가하는 것으로 나타났다. 사용자의 지속사용의사는 2, 3주까지 오히려 감소하다 4주에 다시 증가하는 형태를 보였다. 이에 대해 사용자 다이어리를 살펴 본 결과, 사용 초기에는 음성 인식률 오류 등으로 인한 불만이 매우 높았으나 반복적인 사용을 통해 CA 품질 수준을 인지하고 받아들이는 단계를 거치는 것을 알 수 있었다. 마지막으로 구조방정식 모형을 통해 인터랙티브 TV UX 모델 프레임워크를 구성하고 사용자 경험 품질을 확인하였다. 구조방정식 모형을 통해 도출된 경험 품질 요소는 predictable, stylish, premium, challenging 등으로 나타났다. 모든 연구에서 공통적으로 도출된 interactive TV 사용 경험 품질 요소는 manageable, innovative, captivating, 그리고 novel이다. 확인적 요인분석 결과, 긍정적 사용 경험 품질이 사용 만족도에, 그리고 사용 만족도가 지속적인 사용 의사에 각각 인과관계를 나타냈다. 인터랙티브 TV 사용 만족도와 지속 사용 의사에 영향을 미치는 경험 품질은 사용성 품질 차원보다 감성 품질 차원에서 더 크게 기여했다. CA 역시 기술적으로는 미완성 단계이지만 감성 품질 차원에서 사용자에게 더 어필하는 것으로 나타나, 향후 대화형 방식이 인간–컴퓨터 상호작용의 새로운 패러다임이 될 수 있음을 예측하게 한다. 본 연구를 통해 사용자의 경험과 경험에 기반한 만족도가 새로운 기술의 intention to use를 예측하는 의미 있는 척도가 될 수 있을 뿐만 아니라 기술의 성공 여부에는 긍정적인 사용자 경험이 필수적이라는 점을 확인하였다. 복합적 방법을 적용하여 다각도로 인터랙티브 TV 사용자 경험을 살펴봄으로써 사용자 경험 연구 결과의 신뢰성을 높일 수 있다는 가능성도 엿보았다. 이번 연구가 TV 뿐만 아니라 CA 기술을 적용하는 다른 인터랙티브 시스템 개발에서 더 긍정적인 사용자 경험 제공을 위한 참고 자료로 활용될 수 있기를 기대한다.
-
dc.description.abstractThis is a study on the interactive TV user experience (UX). In the field of human-computer interaction (HCI), system performance or usability has been evaluated as a major factor affecting user satisfaction. This approach was very effective when the system had been used in specific area, or when the range of user-computer interaction was limited. However, with the development of technology, we can now freely choose and use these technologies. This indicates that users expect more than usability for technology. Some of the technologies survive for a long time or contribute to enriching our lives, while others disappear quickly. Because of the uncertainty and complexity of new technology, industry is now specially focusing on users motivation and experiences than on the technology itself (Shin, 2009; Thong et al., 2006). The user experience refers to a comprehensive experience that includes emotional dimensions such as fun and pleasure as well as performance and usability.
TV is one of the most accessible entertainment products that provide pleasure at low cost in our daily lives. As the TV platform has been combined with the Internet and various functions can be accommodated, TV is evolving into the interactive product. In practice, however, various functions of interactive TVs are not actively used and utilized. For the reason why they are not used, unnecessity and inconvenience are cited. The purposes of this study are to (1) identify main attributes affecting the interactive TV UX, (2) evaluate alternative user interfaces for enriching the TV user experience, and (3) construct an interactive TV UX model framework to see the causal relationship between the user experience, user satisfaction, and intention to use technology. Before the experiments, previous studies and important claims to the UX theories were reviewed and analyzed. For the first purpose of this study, a lab study was conducted to observe and compare the users behavioral situations in watching TV. The user behaviors were measured in two different situations - the goal-directed situation and the experiential situation. For the second purpose of this study, an empirical study was performed to observe whether user experiences differ between remote control unit (RCU) interaction and conversational agent (CA) interaction, when considering an alternative interface for interactive TV. Two methods – subjective self-reporting questionnaires and physiological measurements for users emotional response – were used. The field test was also conducted for 20 households for 4 weeks. Participants assessed their own moods and recorded the TV viewing experiences. User satisfaction and the continuous usage intention were measured once a week to see whether the user satisfaction and the usage intention show the relationship each other. Finally, the structural equation model was constructed to validate the UX measurements scale and examine the causal relationship among the experience quality factors at each UX phases. A specific relationship between an interactive TV UX framework and how UX quality factors affects the user satisfaction and the decision to use the technology was also confirmed.
The results from the series of studies are as follows: The experience of TV users differs depending on the context of the situation. When watching TV for a specific purpose, the quality of the experience was higher and more positive than when watching TV with no purpose. The factors affecting TV user experience are controllable, innovative, impressive and original. In the user interface comparison experiment, quality factors affecting the user experience were manageable, predictable, stylish, and innovative. Physiological measures were conducted to identify real-time emotional responses that occurred during the interaction. The result was also confirmed that the user's cognitive effort and stress appeared differently according to the interfaces, RCU and CA. As a result of skin conductance (SC) measurement, CA interaction showed mainly high to low in the level of stress, while the result of RCU showed low to high or no change in stress. This implies that the user is likely to feel a cognitive load at the beginning of interacting with CA. Conversely, controlling with RCU method may not require a large cognitive burden, but stress is increased in navigating menus and clicking buttons repeatedly. This shows that the roles of CA and remote controller are different, and therefore, CA is suitable for complementary role rather than alternative means of RCU in interacting with TV. In this regard, it is necessary to develop the TV interface, which is optimized for the usage of RCU only, to the interface considering both the CA and the RCU interaction to enhance the TV UX. Field tests showed a steady increase in user satisfaction for four weeks compared to the pre-evaluated expectation. The users intention to use decreased for three weeks and then increased again at the fourth week. As a result of reviewing the comments of users diaries, it was found that users complaints occurred in communication errors were very high at the beginning of the experiment. It was also seen that users have learned and accepted CA through the repeated daily use. Finally, it was constructed the interactive TV UX model framework through the structural equation modeling and confirmed the quality of interactive TV user experience. UX quality factors affecting the overall user experience are marked with manageable, predictable, stylish, inventive, innovative, and so on. The common factors derived from each experiment are manageable, innovative, captivating, and novel. As a result of confirmatory factor analysis, it was validated that the positive use experience quality has the causal relationship with the use satisfaction, and the use satisfaction also correlates with the continuous usage intention. The hedonic quality of user experience more affected user satisfaction and intention to use than to the pragmatic quality. Although CA is technically unfinished, it is more appealing to users in terms of emotional quality, predicting that voice-based communication may become a new paradigm of human-computer interaction. This study confirms that not only the user's experience and satisfaction can be the meaningful measures of the continuous usage intention new technology, but also a positive user experience is essential for the success of the technology. It is also seen that a mixed-method approach allows rich implications by examining the interactive TV user experience from various perspectives. It is hoped that this research can be used as a reference for providing a more positive user experience in the development of TVs and other interactive systems using CA technology.
-
dc.description.tableofcontents1. Introduction 1
1.1 Background and motivation 1
1.2 The purpose of this study 3
1.3 Dissertation structure 7

2. Literature Reviews 10
2.1 Beyond usability in HCI 10
2.2 The emergence of UX 14
2.2.1 The influencing factors of UX 18
2.2.2 The moments of UX 24
2.2.3 The UX framework with user experience, satisfaction and continual usage intention 27
2.3 The interactive product UX framework 29
2.4 Methods for evaluating user experience 32
2.4.1 Subjective measures 33
2.4.2 Objective measures 35
2.4.3 Summary 37

3. Interactive TV Studies 39
3.1 Definition of Interactive TV 39
3.1.1 Traditional TV vs. Interactive TV 39
3.1.2 Interactive TV characters 42
3.2 Users 44
3.2.1 TV users 44
3.2.2 User goals 44
3.2.3 Context of use 45
3.3 TV interfaces 45
3.3.1 Remote Control Unit (RCU) 46
3.3.2 Beyond RCU 46
3.3.3 Interactive TV add-on new features: conversational agent (CA) 47
3.4 Summary 52

4. Experiment 1. Contextual analysis of interactive TV 53
4.1 Introduction 53
4.2 Method 54
4.3 Results 57
4.4 Conclusion 68

5. Experiment 2: Analysis of conversational agent-equipped TV UX 70
5.1 Introduction 70
5.2 Method 70
5.3 Results 78
5.4 Conclusion 95

6. Experiment 3. Long-term TV UX research with day reconstruction method (DRM) 102
6.1 Introduction 102
6.2 Method 104
6.3 Results 107
6.4 Conclusion 117

7. The validation of UX model framework 123
7.1 The conceptual model of interactive TV UX 123
7.2 Validation of interactive TV UX model framework 127
7.2.1 Confirmatory Factor Analysis of interactive TV UX process model 127
7.2.2 Item parceling of interactive TV UX attributes 134
7.2.3 Confirmatory factor analysis for UX sub dimensions 138
7.3 Summary 145

8. Discussion and conclusion 151
8.1 Discussion 151
8.2 Contribution of this study 155
8.3 Limitation and further study 158
8.4 Conclusion 161
-
dc.language.isoeng-
dc.publisher서울대학교 대학원-
dc.subject.ddc670.42-
dc.titleA mixed-method approach to measuring interactive TV UX: Study of conversational agent equipped TV-
dc.typeThesis-
dc.typeDissertation-
dc.contributor.AlternativeAuthorLee, Seungyeon-
dc.contributor.department공과대학 산업공학과-
dc.description.degreeDoctor-
dc.date.awarded2020-02-
dc.contributor.major인간공학-
dc.identifier.uciI804:11032-000000160504-
dc.identifier.holdings000000000042▲000000000044▲000000160504▲-
Appears in Collections:
Files in This Item:

Altmetrics

Item View & Download Count

  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Share