TrackLens: Using Rear-Camera as TrackBall-like Input Unit for Single-handed Interaction on Handheld Devices

Abstract

터치스크린은 입력 공간과 출력 공간을 하나의 하드웨어로 통합함으로써 기기를 보다 작고 가볍게 만들 수 있다는 장점이 있어 최근 스마트폰, 태블릿 등의 휴대용 기기에 널리 사용되고 있다. 그러나 엄지손가락이 닿지 않는 그림자 영역 및 여러 개의 손가락이 필요한 멀티 터치 제스처 등으로 인하여 휴대용 기기의 터치스크린은 한 손만으로 사용하기에 큰 불편이 따른다. 본 연구에서는 내장된 후면 카메라를 활용하여 휴대용 기기를 한 손으로 편하고 정교하게 조작할 수 있도록하는 상호작용 기법을 제시한다. 카메라를 일종의 터치 센서로 활용하는 이 기술은 기기 뒷면에서 이루어지는 상하좌우 네 방향 검지 손가락 제스처를 인식할 수 있고 또한 검지 손가락과 엄지 손가락을 동시에 사용하여 화면 상의 목표물을 보다 정교하게 선택할 수 있게 함으로써 휴대용 기기를 한 손으로 사용했을 때의 불편함을 해소하였다. 특히 본 연구는 별도의 하드웨어 장치 없이 카메라가 내장된 모든 휴대용 기기에서 바로 적용가능하다는데 큰 의의가 있다. 15명의 사용자를 대상으로한 사용성 실험 결과, 제스처 인식 알고리즘은 다소 개선이 필요하나 본 연구에서 제시한 상호작용 기법은 사용자들이 터치스크린 휴대용 기기를 한 손만으로 보다 편하고 정확하게 조작하는데 도움이 되는 것으로 나타났다. 사용자의 손의 크기, 엄지 손가락의 길이, 기기를 잡는 자세 등을 고려한 사용자별 맞춤 제스처 집합 및 인식 알고리즘을 제공한다면 보다 나은 성능과 다양한 응용 가능성을 가져다줄 것으로 예상된다.

Touchscreens on mobile devices usually require using both hands to efficiently interact with it. However, there are many occasions in daily life that only one hand is available to control the devices. In this paper, we present a single-handed interaction technique (TrackLens) on handheld devices using embedded rear-camera. TrackLens enables users to perform on-the-lens gestures using index finger and precise target selection using both thumb and index finger. It not only resolves the problem of single-handed interaction on mobile devices, but also deals with ingrained problems of touchscreens including no tactile feedback and occlusion. A controlled user study shows that, although the gesture classifier needs some improvement, TrackLens interaction technique can help users control their handheld devices more delicately and comfortably with only one hand.