Designing Physical-Object-Oriented Interactions in Augmented Reality

Abstract

Augmented reality (AR) technology today tightly integrates virtual content into physical objects and environment and provides seamless interactions through advanced computer vision techniques, such as spatial registration, object tracking, and gesture recognition. The goal of this dissertation is to create a framework of Physical-Object-Oriented Interaction (POOI)--in which the interaction methods between digital and real objects, as well as resulting outcome, are driven by the physical properties of real objects--and to design a series of systems based on the framework to effectively interact within the environment where physical and virtual objects coexist.

To support effective interactions between physical objects and virtual content, we first coordinate the underlying taxonomy of the interactions between physical objects and virtual content and present a standard high-level framework of POOI. The POOI framework includes five major characteristics--abstraction, modularization, reusability, context-awareness, and customizability. Second, we present a Wall-based Space Manipulation (WSM) technique that enables users to efficiently select and move distant objects by dynamically squeezing their surrounding space in AR. Our user study results indicate that WSM overall performed consistently well and significantly improved efficiency while alleviating arm fatigue. Third, we derive a conceptual framework for an AR photo experience and use it to design ARphy, a tangible interface that enables people to organize photo collections along with physical objects in AR. We also present an ARphy Interaction Design Toolkit, which enables users to register their personal objects to the system and author interactivity for each of them. Our findings from a qualitative user study indicate that ARphy is intuitive, immersive, and enjoyable and has the potential to guide interactions for connecting various types of digital content with physical objects. Finally, summarizing the three studies, we discuss the design challenges of POOI as well as future research agendas.

증강 현실 기술은 가상의 콘텐츠를 물리적인 실제 물체와 통합하고, 공간 등록, 물체 추적, 동작 인식 등의 최신 비전 기술과 연계하여 자연스러운 상호작용을 가능케 한다. 본 논문은 가상과 실제 물체 간의 상호작용 방식과 그 결과가 실제 물체의 물리적인 속성에 의해 결정되는 Physical-Object-Oriented Interaction (POOI) 프레임워크를 만들고, 이에 기반하여 실제와 가상의 물체가 혼재한 환경에서 효과적으로 상호작용 할 수 있는 일련의 증강현실 시스템을 디자인하는 것을 목표로 한다.

첫째로, 표준화된 high-level POOI 프레임워크를 소개한다. 해당 프레임워크는 기존 연구를 토대로 실제 물체와 가상의 콘텐츠 간에 이루어지는 상호작용의 분류 체계를 정리하여 제작되었으며, 다섯 가지의 주요 형질--추상성, 모듈성, 재사용성, 상황 인지성, 사용자화성--을 갖는다. 둘째로, 주위 공간을 동적으로 축소시켜 효율적으로 원거리에 있는 물체를 조작할 수 있는 Wall-based Space Manipulation (WSM) 기술을 제안한다. 사용자 실험에 따르면, WSM 기술을 사용하였을 때에 사용하지 않았을 때 보다 효율성 및 일관성에서 더 좋은 결과를 보였으며, 팔의 피로도 또한 더 적은 것으로 나타났다. 셋째로, 본 논문에서 도출한 증강 현실 사진 경험에 대한 개념적 프레임워크를 활용하여 제작된 디지털 사진과 실제 물체를 함께 정리할 수 있는 tangible 인터페이스 ARphy를 제안한다. 또한, 사용자가 직접 본인의 물체를 등록하고 상호작용 방식을 저작하여 사진 컬렉션을 만들 때 활용할 수 있도록 하는 ARphy Interaction Design Toolkit도 함께 제안한다. 사용자 실험에 따르면 ARphy는 직관적이고, 몰입감 있으며, 즐거운 사용자 경험을 제공하는 것으로 나타났고, 추후 다양한 형태의 디지털 콘텐츠와 실제 물체에 대한 연결로 확장될 수 있는 가능성을 보여주었다. 마지막으로, 위 세 가지 연구 결과를 종합하여 POOI에 기반한 시스템을 개발할 때의 디자인적 난제와 향후 연구 방향에 대해 모색한다.