숏폼 영상 추천 시스템에서의 시청 행동과 길들이기 효과에 관한 연구

Abstract

An algorithm recommendation system selects and excludes specific information to help user's decision-making in various domains, and determine and propose which one is more appropriate. The role of recommendation algorithms in what information and content we encounter online has been normalized and become important, as seen in examples such as content recommendation for video, music, and product recommendation for shopping services. Users interact with the algorithm and gain a specific understanding of the recommendation algorithm during the process of exploring and consuming the recommended information, referred to as "Algorithmic Experience." All user behaviors, such as clicks, dwell time, star ratings, and searches that occur naturally while using the content recommendation system, are classified as user feedback for recommendations. The recommender system infers the user's preference and usage context from such behavior data, and reflects it in suggesting future recommendations. Microscopic feedback behaviors accumulated every second in the process of browsing and consuming recommended content can influence the performance of recommendations, but it is difficult for users to figure out which behaviors of their own have an impact on the recommendation results. There is only a judgment available to the user is whether the algorithm of the recommendation system has been tailored to their taste and recommends content that they would like, that is, the Tailoring Effect. This study focuses on the phenomenon of the "tailoring effect," where users' satisfaction with recommendation results increases independently of their intention to manipulate the recommendation algorithms. Users make decisions on their subsequent usage behaviors and methods based on the tailoring effect. Therefore, designing a feedback interface in the recommendation system that allows users to intervene in the operation of the recommendation algorithm should prioritize the tailoring effect on various behaviors, rather than just enhancing the sense of control and agency. The research is about the personalized recommendation page of the short-form video recommendation app TikTok, of which video is mainly consumed through recommendation rather than active search and browsing by users. When the app starts, recommended videos are immediately played on the full screen, without the process of choosing the recommendation stream or obtaining additional information about the recommended items. By watching the video, users involuntarily browse the recommended items, and the result of implicit watching behavior is immediately reflected in the recommendation, forming a unique algorithm experience. In this way, the watching practice that minimizes prediction and intention is reinforced through three elements of the TikTok recommendation algorithm experience: (1) the characteristic of the recommendation algorithm that places a high weight on immediate user behavior instead of follow function, (2) the characteristic of the user interface that induces immersion and cannot predict the next recommendation item, and (3) the characteristic of highly addictive short-form video content. Therefore, it is necessary to empirically investigate users' understanding and behavior that constitutes the TikTok algorithm experience. The purpose of this study is (1) to understand the user's perception and algorithm interaction of the short-form video recommendation system, focusing on the For You page of TikTok (FYP), and (2) to propose a new user feedback interface design based on this understanding. For these purpose, two investigations were conducted. As a first investigation explored users understandings, expectations, and difficulties with TikTok's recommendation algorithm through in-depth interviews with 8 TikTok regular users. The in-situ second investigation collected session-based log data and five-point scale satisfaction about recommendation results through an ESM survey method with 24 TikTok regular users. The collected log data and survey data were processed on a session-level basis then analyzed to see if the tailoring effect occurred according to each watching behavior. The result of the first and second studies are as follows: The first investigation results showed that TikTok users strongly believe that their previous actions have a strong impact on the later recommendations. The results found that TikTok users expected both highly personalized recommendations and the unpredictability of recommendations to be entertaining. Additionally, it was difficult for participants to figure out how to control the recommendations when faced with difficulties in the interaction with the recommendation algorithm, such as repetitive recommendations of similar theme or the exclusion of topics of no interest. The results of the secondary investigation aimed at observing TikTok recommendation page watching behavior in an in-situ environment showed a low frequency of explicit feedback behavior. Additionally, 92% of explicit feedback used by the participants was the Like behavior, which contradicts previous studies on interaction practice on TikTok. In particular, following behavior, which was mentioned as a major tailoring strategy in previous studies, was used at such a low frequency that 60% of participants never used it. Tailoring effects was observed in the distribution of like behavior of belonging to explicit feedback, skip behavior and sit-through behavior belonging to implicit feedback. This indicates that users level of satisfaction with the recommended result of a use session can significantly differ depending on a specific watching behavior. A specific watching behavior forms a significant correlation with the user satisfaction, leading to tailoring effects. Based on the results of the study, this study aims to make four design implication regarding the user feedback interface in a short- form video recommendation system where users can engage in and express their preferences. First, minimize explicit feedback other than "Like". Second, "Dislike" is not necessary. Third, "Refresh" feedback that can change the situation where similar content is repeatedly recommended is needed. Finally, the system should suggest selective feedback behavior based on the duration of the ongoing session. This study examined the tailoring effect of recommendation algorithm feedback behavior that occurs while consuming recommended content. The main contributions of this work to the HCI community are as follows: first, it was revealed that some implicit watching behavior that users are not aware of have a significant correlation with satisfaction of the recommendation results, and a new approach to algorithm experience investigation is presented by verifying the tailoring effect. Secondly, a simple ESM survey method with Apple Shortcuts function was proposed to capture the vivid perceptions at the moment of interacting with the recommendation system. Lastly, the study presented design implications of the user feedback interface in short-form video recommendation systems.

알고리즘 추천 시스템은 다양한 영역에서 사용자의 의사 결정을 돕기 위해 특정 정보를 선별하고 제외해주며, 어떤 것이 더 적절한 지 판단해 제안한다. 영상 • 음악 등의 콘텐츠 추천, 쇼핑 서비스의 상품 추천 등의 예시에서 볼 수 있듯이 우리가 온라인 상의 어떤 정보와 콘텐츠를 접하는 지에 대해 추천 알고리즘의 역할은 일상화되었고, 중요해졌다. 사용자는 추천된 정보를 탐색하고 소비하는 과정에서 알고리즘과 상호작용하며 추천 알고리즘에 대한 특정한 이해를 갖게 되고, 이는 알고리즘 경험(Algorithmic Experience)이라 일컫는다. 콘텐츠 추천 시스템을 사용하면서 자연스럽게 발생하는 클릭, 체류 시간, 별점 평가, 검색 등 모든 사용자 행동은 추천에 대한 사용자의 피드백으로 분류된다. 추천 시스템은 이와 같은 행동 데이터에서 사용자의 선호와 사용 맥락을 추론하고, 이후의 추천을 제안하는 데 반영한다. 추천된 콘텐츠를 탐색하고, 소비하는 과정에서 매 초마다 쌓이는 미시적인 피드백 행동은 추천의 성능을 좌우할 수 있지만, 사용자는 자신의 어떤 행동이 추천 결과에 영향을 끼치는 지 파악하기 어렵다. 추천 시스템의 알고리즘이 자신의 취향대로 길들여져 자신이 좋아할만한 콘텐츠를 추천해주는지에 대한 판단, 즉 길들이기 효과(tailoring effect)만 있을 뿐이다. 본 연구는 사용자가 추천 시스템을 사용하는 과정에서 추천 알고리즘을 길들이려는 의도와는 별개로 추천 결과에 대한 만족감이 증가하는 길들이기 효과를 경험한다는 점에 주목한다. 사용자는 길들이기 효과에 의거해 이후의 사용 행동과 행동 방식을 결정한다. 따라서, 추천 시스템에서 사용자가 추천 알고리즘 작동에 개입할 수 있는 피드백 인터페이스 디자인은 사용자의 통제감과 주도성 측면보다 다양한 행동에 대한 길들이기 효과를 우선적으로 고려할 필요가 있다. 본 연구의 연구 대상인 숏폼 영상 추천 플랫폼 틱톡의 추천 페이지는 사용자의 능동적인 검색, 탐색보다 추천에 의한 콘텐츠 소비가 지배적이다. 사용자가 추천 스트림을 선택하거나 추천 항목에 대한 부가적인 정보를 얻는 과정 없이 앱 시작과 동시에 전체 화면으로 추천 영상이 재생된다. 사용자는 영상의 시청과 동시에 추천 항목을 탐색하고 미시적인 시청 행동의 결과가 즉각적으로 추천에 반영되는 독특한 알고리즘 경험이 구성된다. 이와 같이 예측과 의도를 최소화화는 시청 행태는 틱톡 추천 알고리즘 경험의 세 가지 요소 -1) 팔로우 기반이 아닌 즉각적인 사용자 행동에 높은 가중치를 두는 추천 알고리즘의 특성, 2) 몰입을 유도하고 다음 추천 항목을 예측할 수 없는 인터페이스의 특성, 3) 중독성이 큰 숏폼 영상 콘텐츠의 특성-를 통해 강화되고, 다른 추천 시스템의 경험과 구별되는 알고리즘 경험을 형성한다. 따라서, 틱톡 알고리즘 경험을 구성하는 사용자의 인식과 행동을 실증적으로 조사할 필요가 있다. 본 연구의 목적은 틱톡의 추천 페이지를 중심으로 숏폼 영상 추천 시스템에 대한 사용자의 인식과 알고리즘 상호작용 행동을 이해하고 이를 토대로 새로운 사용자 피드백 인터페이스 디자인을 제언하는 것이다. 이를 위해 두 차례 조사를 진행했다. 1 차 조사로 틱톡 사용자 8 명을 대상으로 하는 심층 인터뷰를 통해 틱톡 추천 알고리즘에 대한 인식, 기대, 어려움을 탐구했다. 그리고 틱톡 사용자 24 명을 대상으로 ESM 설문 조사를 진행한 2 차 조사를 통해 세션 단위의 로그 데이터와 추천 만족도를 수집했다. 수집한 로그 데이터와 설문 데이터는 세션 단위로 가공한 후, 각 시청 행동에 따라 길들이기 효과가 발생하는 지 분석했다. 1 차 조사와 2 차 조사의 연구 결과는 다음과 같다. 1 차 조사 결과, 틱톡 사용자는 추천 페이지에 제안되는 영상의 추천 원인으로 자신의 이전 행동의 영향을 강하게 믿고 있었다. 틱톡 사용자는 고도로 개인화된 추천, 예측 불가능한 추천의 재미에 대해 동시에 기대하고 있음을 발견했다. 또한, 추천 알고리즘 상호작용 시 겪는 어려움으로 비슷한 내용의 추천이 반복되거나 관심없는 주제를 추천에서 배제하고 싶을 때 참여자들이 추천을 어떻게 통제해야 할 지 파악하기 힘들었고, 조정하기 어려워하는 것을 관찰했다. In-situ 환경에서 틱톡 추천 페이지 시청 행동을 관찰하는 목적의 2 차 조사 결과, 명시적 피드백 행동을 낮은 빈도로 사용하는 양상을 확인했다. 또한, 연구 참여자들이 사용한 명시적 피드백의 92%는 좋아요 행동이었고 이는 틱톡 추천 페이지에서의 상호작용 행동 관행에 대한 선행 연구와 상반되는 결과이다. 특히, 선행 연구에서 틱톡 사용자의 주요한 길들이기 전략 행동으로 언급된 팔로우 행동은 참여자의 60%가 한 번도 사용하지 않을 정도로 그 사용 빈도가 낮았다. 명시적 피드백 중 좋아요 행동, 암묵적 피드백 중 스킵 행동과 끝까지 보기 행동의 분포에서 길들이기 효과를 관찰할 수 있었다. 이는 특정한 시청 행동 방식에 따라 사용자가 세션의 추천 결과에 대해 만족하는 수준이 유의미하게 달라진다는 것을 시사한다. 특정 시청 행동은 길들이기 효과와 유의미한 상관 관계를 형성한다. 연구 결과를 토대로, 본 연구는 숏폼 영상 추천 시스템에서 사용자가 추천에 개입하고 선호를 표현할 수 있는 피드백 행동 인터페이스 디자인에 대해 네 가지 제언을 하고자 한다. 첫째, 좋아요 이외의 명시적 피드백은 최소화한다. 둘째,싫어요는 필요하지 않다. 셋째, 비슷한 내용이 반복적으로 추천되는 상황을 전환할 수 있는 새로고침 피드백이 필요하다. 넷째, 시청 중인 세션의 지속 시간에 따라 선택적인 피드백 행동을 제안한다. 본 연구에서는 추천 콘텐츠를 소비하면서 발생하는 추천 알고리즘 피드백 행동의 길들이기 효과를 살펴보았다. 그 결과, 사용자가 자각하지 못하는 미시적인 시청 행동 중 일부 행동이 추천 결과에 대한 만족도와 유의미한 상관 관계를 성립한다는 것을 밝혔고, 길들이기 효과를 검증함으로써 알고리즘 경험 조사의 새로운 접근을 제시했다. 또한, 사용자가 추천 시스템과 상호작용하는 순간의 생생한 인식을 포착하기 위해 간단한 실험 도구로 ESM 설문조사를 진행하는 연구 방법을 제시한 점, 숏폼 영상 추천 시스템에서의 사용자 피드백 인터페이스 디자인을 제언했다는 점에서 의의를 갖는다.