Integration of Reality and Virtual Environment: Using Augmented Virtuality with Mobile Device Input

Abstract

Interactive virtual reality (VR) experience has become more common and widespread these days, with the development of head-mounted display (HMD) technology in recent years. The interaction inside the virtual environment is enabled by capturing inputs from users usually by mechanical hand-held controllers. Mainstream HMD-based VR platforms come with these trackable multi-DoF controllers with a high level of versatility. This enables a tremendous diversity in input types and forms to provide more interactive and immersive VR experience. However, these devices lack in cross-platform compatibility as the protocols are non-standardized. Thus, it leads to a steep learning curve. The trouble in learning these alien devices results in non-intuitiveness and confusion to users. Also, the precondition of immersive virtual reality platform with HMD is that it fully occludes the vision of the real environment while users are participating in the VR. The virtual isolation inevitably arises with this condition, keeping two different worlds separate and not integrated, leading to potential risks to users. In this study, we propose a method to use a more familiar, and a more intuitive interface as an input device for VR by importing objects from the real world and use it as an input device. Using augmented virtuality (AV), a real texture of outside object and users hand is overlaid onto the virtual synthetic scene and users are able to interact with the device while they are still wearing the HMD device. In order to properly import a real-world object into a three-dimensional virtual environment, we develop a platform and conduct a series of user studies with various tasks to implement an efficient visual representation method yet to maintain the level of immersion with minimized vision focus swap inside the virtual environment. Through our investigations and findings, we establish an AV platform with guidelines providing an accurate visual representation with minimized user confusion and a high level of usability. The results demonstrate that the proposed method significantly improves and gives promising effect for better virtual reality input experience. Also, properly blended visual representation with synthetic background and physical object with its original texture reduces the physical side of the virtual isolation caused by the occlusion. Hence, the proposed method is expected to be used as tool for the growing research field of mixed reality and augmented virtuality.

실감형 가상현실 경험은 HMD(Head Mounted Display)기기의 발전과 보급에 따라 시각 및 청각적 가상체험이 필요한 상황에서 폭넓게 활용되고 있다. 본 연구에서는 최근의 일반적인 HMD기반의 가상현실 상에서 문제점으로 지적되고 있는 비 직관적인 입력 방식, 그리고 가상환경내에서의 물리적 고립(Isolation) 문제를 보완하고자 현실에 존재하는 물리적 스마트폰을 가상환경으로 도입하여 이를 가상현실 내 입력장치로 활용하도록 한다. 복잡한 컨트롤러보다 보다 사용자에게 익숙한 기기의 도입을 통해 기존의 플랫폼 상 상호작용시 필요로 하였던 프록시(Proxy) 인터페이스의 활용을 필요치 않도록 하며 기존의 방식에 비해 더욱 직관적이고 사용성 높은 플랫폼을 구현하도록 한다. 기존의 HMD 장비에 외부 모니터링이 가능한 카메라를 통하여 외부 환경의 스마트폰을 가상현실 내부로 가져오도록 하며, 이는 가상현실의 배경에 현실의 오브젝트를 오버레이 시키는 증강가상현실(Augmented Virtuality)의 개념을 활용하는 것이다. 외부에서 들어오는 이미지에서 목표 오브젝트를 제외한 백그라운드를 제거하여 실제 오브젝트의 질감을 가져올 수 있도록 분리를 진행하고, 이를 사용자가 입력장치로 활용할 수 있는 새로운 형태의 플랫폼을 제안한다. 본 연구에서의 구현 과정에 있어 다양한 종류의 성능 실험과 사용자 실험을 동반하게 되며, 일반적인 컨트롤러 환경에서의 결과와 비교하도록 한다. 사용자 실험을 통해 제안하는 방식의 한계점과 강점을 검증하며, 증강가상현실 상 필요한 정확한 시각적 표현 방식의 제안과 사용자의 가상현실 경험에 대한 인지에 영향을 줄 수 있는 부분에 대한 가이드라인을 제시하도록 한다. 제시하는 방식을 토대로 한 증강가상현실 플랫폼은 사용자에게 기존의 가상현실 환경 보다 더욱 높은 입력 성능을 보여주었으며, 더 좋은 인지 결과를 보여주었고, 현실과 가상환경 사이에 존재하고 있는 물리적 격차를 줄였다는 점을 파악할 수 있다. 이를 토대로 본 연구의 제안 방식은, 점점 커지고 있는 증강가상현실 및 혼합현실(Mixed Reality)의 연구 분야에서 오브젝트를 매개체로 하여 현실과 가상환경을 이어주는 하나의 도구로 활용될 수 있을 것으로 기대한다.