Multi-Touch Interface by Depth Sensing Camera

Abstract

Due to recent explosive development in smart devices, multi-touch systems have been widely studied using various kinds of sensor technologies. Computer vision is one of the key methods that transform existing displays into multi-touchable ones. Owing to its hardware independent algorithmic implementations, computer vision demonstrates flexibility during diverse range of system integrations. On the other hand, due to its massive computational loops dealing with multi-dimensional arrays of pixels, multi-touch system that rely on vision techniques suffers from expensive process burdens or high latency issues. In this study, we utilized affordable depth sensing cameras to solve the long existing problems of vision based multi-touch systems. We proved the feasibility of our system through various user interface applications then engineered the system into an intuitive vehicle user interface for passengers by maximizing its sensitivity and usability.

최근 다양한 스마트 기기의 발전으로 멀티 터치 시스템에 대한 연구가 다양한 센서들을 활용하여 넓은 영역에서 연구되고 있다. 그 중 컴퓨터 영상 기술은 기존의 디스플레이를 멀티 터치 인터페이스 가 가능한 평면으로 변형시킬 수 있는 가능성을 제공한다. 이 방식 은 하드웨어로부터 독립적이고 알고리즘 기반의 구현이 가능하므로, 다양한 시스템에 대하여 유연하게 응용될 수 있다. 하지만 영상처리 는 다중 차원의 픽셀을 다루기 때문에 많은 양의 계산과정을 요구 하고 그로인해 이 기술에 의존하고 있는 멀티 터치 시스템은 프로 세스에 대한 부담과 시스템 지연을 겪고 있다. 이 연구에서는 일반 적으로 활용되는 깊이 인식 카메라를 사용하여 카메라 기반의 멀티 터치 시스템이 오랫동안 갖고 있던 문제점 해결해 보았다. 또한 개 발 된 시스템의 활용성을 증명하기 위해 다양한 사용자 인터페이스 응용프로그램을 개발하였다. 이를 바탕으로 이 시스템을 자동차 인 터페이스 개발에 적용하여 운전자와 동승자의 인터페이스 사용성을 극대화하는 연구를 최종적으로 실행 하였다.