모음 손동작 분리를 이용한 가상 키보드 입력 속도 개선

Abstract

This paper proposes a fast virtual keyboard typing method that improves typing method that improves typing speed using hand gesture recognition. In the proposed method, five frequently used English vowels can be quickly input with five dedicated gestures. The proposed method reduces, not only the layer switching time of the multilayer keyboard layout, but also vowel typing time. To predict the performance of the proposed method, simulations are performed considering four scenarios according to the order of appearance of vowels and consonants. The result shows that the proposed method improves typing speed by 20.72%. Lastly user test with typing 4 sample sentences results that typing speed is improved by 12.45% based on WPM.

최근 AR(Augmented Reality) 및 VR(Virtual Reality)기술이 발전 함에 따라 사용자 인터페이스 기술에 대한 연구가 활발히 진행되고 있다. 키보드, 마우스, 터치스크린 등 기존의 입력 장치를 대체할 수 있는 가상 입력 인터페이스로 손동작 인식이 주목받고 있으며, 이에 다양한 접근 방식으로 손동작 인식 모델이 제안되었다. 정교한 손 인식을 위해 센서가 내장된 장치형 인터페이스를 사용한 손동작 인식 연구가 이뤄지고 있다. 최근에는 딥러닝 기술의 발전에 따라 별도의 장치가 필요 없는 카메라 기반 비전 인식을 이용한 손동작 인식이 AR/VR의 핵심 어플리케이션인 가상 키보드, 가상 글쓰기, 수화 인식 등에 사용되기 위한 인터페이스로 활발한 연구가 이뤄지고 있으며, 특히 객체 인식 딥러닝 네트워크의 경우 실시간으로 손동작을 인식할 수 있다는 점에서 많이 사용되고 있다. 본 논문에서는 알파벳의 사용 빈도 및 연속적으로 나타나는 두 문자 간의 상관 빈도에 대해 통계적 분석을 진행 시, 모음의 사용 빈도수는 평균 39%이며 자음-모음 또는 모음-자음 순으로 배치되는 경우는 약 65% 정도로 모음의 입력의 속도를 향상시켜 가상 키보드 입력 속도를 개선하는 방법을 제안한다. 제안한 방식은 객체 인식 딥러닝 네트워크를 이용하여 가상 키보드 입력에 필요한 6개의 손동작에 5개의 알파벳 모음, a, e, i, o, u에 대해 특정된 손동작을 추가로 학습시켜, 자음의 경우 기존과 동일하게 가상 키보드 배열 내에서 선택되어 입력되도록 하며 모음의 경우 모음 손동작이 인식되면 입력되도록 한다. 인식이 필요한 손동작이 늘어남에 따라 자동 라벨링을 통해 다수의 학습 데이터를 확보하여 94.39%의 비교적 높은 평균 손동작 인식률을 확보했다. 제안한 방식 기반의 가상 키보드를 구현하여 사용자 테스트를 진행한 결과 기존에 제안된 가상 키보드 입력 방식보다 제안한 방식의 속도가 12.45% 개선되었다.