Designing Life-Immersive Physical Interaction in Mixed Reality Environment

Abstract

본 연구에서는 일상몰입형 혼합 현실 (MR) 경험을 가능하게 하는 상황-적응형 물리적 상호 작용 시스템인 LIVE를 제시한다. 장시간으로 매일 MR을 사용하는 상황에서 몰입감과 유용성을 동시에 보장하는 것은 어려운데, 이는 현실에 대한 정보가 가상 공간과 어울리지 않을 경우 몰입감을 저하시킬 수 있기 때문이다. 본 연구는 MR 환경에서 높은 몰입도와 유용성을 동시에 보장하기 위해 사용자의 현재 상호작용 유형에 따라 다른 렌더링 기술을 적용하는 적응형 현실 물체 시각화 시스템을 개발한다. 본 시스템은 몰입과 효용 사이의 절충을 통해 사용자 경험을 극대화한다. 제안하는 Interaction-Aware Rendering Pipeline은 각 현실 물체가 속한 상호 작용 유형에 따라 가장 적합한 렌더링 방법을 적응적으로 선택하는 방식이다. 또한 물리적 환경의 형상과 거리에 대한 인식을 향상시키는 새로운 시각화 기술인 Mesh Overlay를 통해 물체를 사용하고자 접근하는 상황에서 사용자가 물체의 정확한 형태와 위치를 이해하고, 적절한 손 움직임을 계획할 수 있도록 돕는다. 시스템의 효과를 검증하기 위해 실제로 작동하는 테더리스 MR 프로토타입을 구현하고, 이를 이용해 일상적인 상황에서의 몰입감과 유용성에 초점을 맞춘 폭넓은 사용자 실험과 분석을 수행한다. LIVE는 잦은 물리적 상호작용이 수반되는 MR 환경에서 몰입감을 보존하면서 높은 효용성을 제공한다. 본 연구에서 제안하는 3단계 렌더링 파이프라인은 작업 도중 사용자의 부담을 크게 줄여 기존 방법보다 높은 유용성을 제공한다. 또한, 제안하는 Mesh Overlay 기술은 폭넓은 물체 크기와 유형에 대해 몰입의 저하 없이 현실 물체의 형태와 거리에 대한 인지를 크게 향상시킨다. 제안하는 시스템은 물리적 개체와 상호 작용하면서 장기적인 몰입과 유용성을 제공할 수 있으며, 높은 실현 가능성을 가진다는 점에서 함의가 있다.

I present LIVE, a context-adaptive physical object interaction system enabling a life-immersive MR experience. Keeping both immersion and utility in long-term daily use of MR is difficult, because physical information not harmonizing with the virtual environment may degrade the immersion. To address the problem, I develop an adaptive physical object visualization system which applies different rendering techniques depending on the user's current interaction type, to ensure high immersion and utility in the MR environment. This maximizes the user experience through the trade-off between immersion and utility. I design Interaction-Aware Rendering Pipeline which adaptively selects the most suitable rendering method, depending on the current interaction type each physical object is involved in. In addition, I propose Mesh Overlay, a novel visualization technique that enhances perception of shape and distance of physical surroundings. Extensive user evaluation is performed using a tetherless MR working prototype, focused on daily use scenarios and perception enhancement during various tasks. LIVE provides higher utility overall while preserving immersion, when the situation involves frequent transition between tasks in the MR environment. The three-stage rendering pipeline of LIVE greatly reduces the task load, providing higher utility than conventional methods. Furthermore, the proposed Mesh Overlay technique greatly improves the shape and depth perception of physical objects without degradation of immersion among wide range of object sizes and types. The proposed approach is a highly feasible way to enable the long-term immersion and utility while interacting with physical objects.