기계 학습을 활용한 비디오 게임 하이라이트 추출 연구

Abstract

최근 이스포츠(eSports)와 실시간 영상 스트리밍 서비스 시장이 급격하게 성장하고 있다. 이로 인해 게임 관련 영상 콘텐츠들의 양이 많아지면서 게임 분야에서도 영상에서 하이라이트를 뽑는 것의 필요성이 대두되었다. 이러한 필요성에 의거하여 게임 관련 영상 콘텐츠에서 하이라이트를 자동으로 추출하고자 하는 연구들이 이루어져왔다. 게임 하이라이트를 자동으로 추출하고자 했던 연구들은 게임의 외부 데이터만 사용하여 하이라이트를 추출하는 방법을 제안했다. 지난 연구들은 방송된 이스포츠 대회 경기 영상이나 특정 온라인 플랫폼에서 이스포츠 대회를 중계할 때, 시청자들이 입력한 채팅 로그 같은 게임 외부의 데이터를 사용해서 하이라이트를 추출하는 방법을 제안해왔다. 또한 제안한 하이라이트 추출 방법을 통해 전체 경기 영상에서 하이라이트 구간들을 추출하여 생성할 수 있는 하이라이트 영상에 대한 사용자 경험도 탐구하지 않았다. 따라서 본 연구에서는 게임 내부의 데이터인 게임 로그 데이터를 활용하여 경기의 하이라이트를 추출하고 이에 대한 사용자 경험을 탐구하였다. 이를 위해 한 경기의 하이라이트를 자동으로 추출하는 방법을 제안하고, 실험을 통해 제안한 방법으로 생성한 하이라이트 영상에 대한 사용자 경험을 탐구하였다. 그 후, 실험을 통해 발견된 방법의 문제점들을 개선하여 여러 경기의 하이라이트를 자동으로 추출하는 개선된 방법을 제안하고, 실험을 통해 이 방법을 통해 생성한 하이라이트 영상에 대한 사용자 경험을 탐구하였다. 두 번의 실험을 거쳐 테스트 데이터셋인 2017년 리그 오브 레전드 월드 챔피언십 11개 경기에 대해 0.823의 F-점수를 가지는 하이라이트 추출 모델을 만들었고, 설문 조사 결과를 정량적으로 분석하고 인터뷰 결과를 정성적으로 분석하여 다음과 같은 결과를 얻었다. (1) 자동 생성된 하이라이트는 전문가가 제작한 하이라이트와 질의 차이가 없다. (2) 하이라이트 영상은 적당한 맥락과 길이, 경기 흐름, 경기 전체 시간에 걸쳐 고르게 다양한 장면을 담고 있어야 한다. (3) 사용자의 선호가 반영된 하이라이트는 시청 목적에 맞게 특정 상황을 주제로 보여주어야 한다. 이러한 결과를 토대로 하이라이트 자동 추출 모델의 네 가지 디자인 가이드라인을 제시하였다. 본 연구는 게임 내부의 데이터인 게임 로그 데이터를 통해 하이라이트를 자동으로 추출하는 방법을 디자인하고 제안했다는 것에 의의가 있다. 또한, 하이라이트 자동 추출 방법으로 생성한 동영상에 대한 사용자 경험을 관찰하고, 이를 통해 하이라이트 영상 자동 추출 방법에 대한 디자인을 제언했다는 점에서 의의가 있다. 생성한 하이라이트 영상이 전문가가 제작한 하이라이트 영상과 차이가 없다는 것을 확인하여, 전문가 없이도 모든 경기의 하이라이트를 생성할 수 있게 됨에 따라 게임, 인터넷 방송, 이스포츠 산업의 부가가치를 높일 수 있게 되었다는 점에서 의의가 있다.

Recently, the market for eSports and real-time video streaming services is growing rapidly. As a result, the amount of game-related video content has increased, and the necessity of extracting the highlight of the video in the game field has emerged. Based on this necessity, there have been a few studies to automatically extract the highlight of game-related video contents. Studies that automatically extracted the game highlight suggested methods to extract the highlight using the external data of the game only. Previous studies have suggested methods to extract a highlight using external data of the game, such as the broadcasted esports tournament video or a chat log entered by viewers when relaying this esports tournament on a specific online platform. In addition, the user experience on the highlight video which can be created by extracting highlight sections from the entire game video through the proposed highlight extraction method has not been explored. Therefore, in this study, we use the log data, which is internal data of the game, to extract the highlight of the game and to explore the user experience. For this purpose, we propose a method to automatically extract the highlight of the game and explore the user experience on the highlight videos generated by the proposed method through experiment. Then, we propose an improved method of automatically extracting highlight of several game matches by correcting the problems of the method found through the previous experiment and explored the user experience on the highlight videos created by this method through experiment. As a result of two experiments, we created a highlight extraction model with the F-score of 0.823 for 11 games in the 2017 League of Legend World Championship, which is a test data set. The results of the survey were quantitatively analyzed, and the interview results were analyzed qualitatively, and the following results were obtained. (1) An automatically generated highlight has no difference in quality from the highlight produced by experts. (2) The highlight video should contain proper context, length, game flow, various scenes evenly over the whole game time. (3) Highlight that reflects the user's preferences should be presented on a specific topic to suit the purpose of viewing. Based on these results, we presented four design guidelines for the automatic highlight extraction model. This study has a contribution to that designing and proposing a method that automatically extracts highlight through game log data, which is game internal data. There are contributions for observing the user experience of the highlight video generated by the automatic highlight extraction method and proposing design guidelines for the automatic extraction of the highlight video. In addition, by confirming that the generated highlight has no difference from the highlight produced by the experts, it is possible to create the highlight of all the games without the need of the experts. So, there is a contribution to adding values on games, internet broadcasting, the sports industries.