Pinch 제스처를 이용한 양손 활용 가상 키보드 입력 시스템

Abstract

본 논문은 AR/VR 환경에서의 pinch 입력 제스처를 이용한 양손 활용 다중 레이어 가상 키보드 시스템을 제안하며, 해당 시스템에 적합한 키보드 레이아웃을 결정하기 위하여 주어진 AR/VR 가상 키보드 입력방식의 특성과 human factor 등을 종합적으로 고려해 최적화된 키보드 레이아웃을 생성하는 방법을 제시한다. 먼저, 기존의 가상 키보드 입력 제스처에 비해 간편하고 다중 레이어 키보드 입력에 최적화된 제스처로 구성된 가상 키보드 시스템을 제안한다. 제안한 제스처는 기존 제스처 대비 물리적 클릭 시간 감소, 레이어 선택에 소요되는 추가 시간 제거 등의 우위점을 가졌다. 다음으로, 레이아웃 최적화를 위해 키보드의 입력 속도 및 사용성에 영향을 미치는 다양한 요인들을 고려하고 다목적 최적화를 수행하여 다중 레이어 키보드 레이아웃을 생성하는 방법론을 제시한다. 구체적으로, 최적화 알고리즘으로 simulated annealing 알고리즘을 사용하였고, 평균 Fitts distance, qwerty similarity 등 여러 목표들의 가중치를 조절하여 목적에 맞는 레이아웃을 생성할 수 있도록 하였다. 본 연구에서 제안한 pinch 제스처 기반 키보드 입력 시스템은 기존 제스처 입력 시스템과 비교하여 최대 42.6%의 기대 입력 속도 개선을 보이며, 본 연구에서 제안한 레이아웃 최적화 방법을 통해 최적화한 레이아웃은 무작위 생성 레이아웃에 비해 약 44.5% 높은 초기 입력 속도를 달성하였다.

This paper proposes an ambidextrous multi-layer virtual keyboard system using pinch input gestures in AR/VR environments and presents a method for generating optimized keyboard layouts, considering characteristics of given AR/VR virtual keyboard input methods and human factors comprehensively. First, a pinch gesture-based virtual keyboard system which is simpler and better optimized for multi-layer keyboard input than existing virtual keyboard input gestures is proposed. The proposed gesture has advantages such as reduced physical click time and removal of extra time for layer selection compared to existing ones. Next, a method for multi-objective layout optimization considering various factors that influence input speed and usability of the keyboard is proposed. Specifically, simulated annealing is used as the optimization algorithm, with adjustable weights for multiple objectives such as average Fitts distance and QWERTY similarity, to create layouts suitable for the purpose. The pinch gesture based keyboard input system proposed in this study showed a maximum expected input speed improvement of 42.6% compared to existing gesture input system, and the optimized layout achieved an initial input speed approximately 44.5% higher than a randomly generated layout.