Bubbleu: Empirical Design Study of Object Detection as an Augmented Reality Game Interaction Method

Abstract

미래형 증강 현실(Augmented Reality, AR) 게임을 개발할 때, 인공지능(Artificial Intelligence, AI)에 기반한 객체 인식(Object Detection) 기법을 활용하면 현실 세계에 있는 사용자의 환경을 해석해 가상의 게임 환경을 통합하여 보여줌과 동시에 현실의 유형 물체(Tangible Object)를 자연스럽게 활용하여 게임을 조작하는 것을 가능케 함으로써 높은 몰입감을 동반한 우수한 게임 경험을 전달할 수 있다. 그러나 인공지능 기반의 객체 인식 인터렉션은 결과가 불확실하고 오류가 발생하기 쉽다는 근본적인 문제가 있다. 본 논문에서는 객체 인식의 불확실성이 게임 경험에 미치는 경험을 이해하고, 그러한 불확실성을 직접 극복할 수 없더라도 게임의 특징을 활용한 설계를 통해 에러가 발생했을 때의 사용자 경험을 향상시키는 방법을 탐구하고자 한다. 우선 본 논문은 Bubbleu라는 이름의 객체 인식 인터렉션을 활용하는 펫 키우기 시뮬레이션 증강 현실 게임을 제안한다. Bubbleu에서 사용자는 현실 물체를 조작하여 가상의 펫 캐릭터와 상호작용한다. 본 논문의 연구는 Bubbleu를 설계하고, 개선하고, 사용자 연구(User Study)를 실행하는 과정으로 이루어진다. 이러한 경험적 연구 과정을 통해 객체 인식 기반 인터렉션을 활용하는 게임에서 에러가 발생했을 때 사용자 경험(User Experience)이 저하되는 것을 방지할 수 있는 3가지의 게임 설계 요소인 모호성(Ambiguity), 내러티브(Narrative), 무작위성(Randomness)을 제안한다. 본 논문의 연구 결과를 통해 미래 증강 현실 게임에서 객체 인식 기반 인터렉션을 활용하고자 할 때 활용할 수 있는 게임 설계 방법론을 제시하고자 한다.

Object detection with AI can seamlessly integrate user contexts of the physical world into the game context enabling tangible interactions in Augmented Reality (AR) games. AI-based object detection, however, is fundamentally uncertain and erroneous. This paper aims to understand the effects of the object detection uncertainty on the gameplay experience and explore ways to preserve a better gameplay experience despite the errors. I develop Bubbleu, a novel AR pet breeding game that adopts AI-based object detection as a key interaction method. The player manipulates real-world objects to interact with the virtual pet that reacts to the recognized objects inside the game world. Through the empirical design, improvement, and user study process of Bubbleu, I construct and study three game design factors - ambiguity, narrative, and randomness - that possibly improve the gameplay experience when the player faces uncertainty in the object detection based game interaction. I expect that the results of the study reveal design implications for future AR games that provide insights into the adequate game designs to handle uncertain interactions.