손가락 동작 인식을 이용한 새 키보드 입력 시스템

Abstract

본 논문에서는 하나의 카메라로 별도의 센서나 장갑을 사용하지 않고 손동작을 인식하여 문자를 입력하는데 사용되는 가상 키보드를 제안한다. 본 연구에서 제안한 click gesture는 쉽고 직관적인 동작을 사용하여 가상 키보드의 문자를 입력 하도록 설계하였다. 또한 스마트폰이나 착용형 디스플레이 장치(Head mounted display)에 적합한 multi-tab 기반의 키보드에서 효율적으로 입력하기 위해 간단한 동작을 추가한 multi-layer click gesture 를 개발 하여 보다 빠른 문자 입력이 가능하다. 손동작을 이용한 click gesture에 적합한 가상 키보드를 개발하였으며 3x4, 4x4 및 5x4 배열의 키보드와 함께 다양한 사이즈의 키보드를 선택하여 사용할 수 있게 만들었다. 입력시간 예측 simulation을 통하여 개발한 키보드 별로 최적화된 layout을 구하여 입력 시간을 단축시켰다. 마지막으로 양손을 이용하여 입력할 수 있는 양손 click gesture를 개발하여 자연스럽고 빠른 입력이 가능하다. 또한 양손용 키보드를 개발 및 최적화된 layout을 적용시켜 입력 속도를 높였다. Simulation 결과 제안된 양손용 키보드 중 (좌 4x4, 우 5x4) 키보드는 ABC 키보드 layout의 입력 시간과 비교하였을 때 평균 128.69%의 성능 향상을 제공한다.