손 관절 탐색용 CNN을 이용한 가상 키보드 동작 인식

Abstract

Recently, augmented reality (AR), and virtual reality (VR) technologies have been applied to various areas, such as games, training and sports. HMD (Head Mounted Display) are widely used in AR and VR due to the greater levels of convenience and simplicity they offer. In order to control these devices intuitively and conveniently, the demand for hand gesture recognition based interface technologies is increasing. To control HCI (Human Computer Interface), accurate hand and finger recognition are required. With the development of deep learning technology, hand and finger recognition can be performed with various deep neural networks. Object detection deep neural networks are widely used for real-time hand recognition. However, due to the complex structure of the hand, when hand gesture recognition is only conducted by object detection network, classification errors may occur even small changes in hand gestures. The hand keypoint detection network can recognize the complex structure of the hand, but it has a limitation in real-time application due to the large amount of computation. In this paper, we propose an accurate hand recognition method by using both object detection and hand keypoint detection deep learning networks. In addition, a virtual keyboard is developed based on the proposed method. Real-time and accurate virtual keyboard typing was possible by using hand keypoint detection network only in the case of click hand gesture detected. The proposed method first finds the bounding box and hand gesture class from the input RGB images using object detection network. If the hand gesture detected is a click gesture, a hand keypoint detection network is selectively used for hand gesture recognition and fingertip recognition. The proposed method improves the hand gesture recognition accuracy by 19.93% and reduces fingertip detection RMSE (Root Mean Square Error) by 66%. When a video is given as input, the video processing speed of the proposed method is 38.26fps, which is lower than object detection newtwork, but it is still suitable for real-time applications. User tests were conducted by applying the proposed method to various keyboard layouts. As a Result, the typing error of the proposed method based virtual keyboard was reduced by 32.35% compared to the object detection network based virtual keyboard. In addition, the average typing time per sentence decreased by 7.3%.

최근 AR(Augmented Reality) 및 VR(Virtual Reality) 기술은 게임, 교육, 스포츠 등 다양한 영역에서 응용되고 있다. 이러한 AR/VR 장치를 직관적이고 편리하게 제어하기 위해 손동작 인식 같은 인터페이스 기술에 대한 수요가 증가하고 있다. 본 연구에서는 가상 키보드의 입력을 위한 정확한 손동작과 손가락 인식을 목적으로 한다. 최근 딥러닝 기술의 발전으로 다양한 딥러닝 네트워크로 손동작과 손가락 인식을 진행할 수 있게 되었다. 실시간 손동작 인식에 객체 인식 딥러닝 네트워크가 많이 사용되고 있다. 하지만 손의 복잡한 구조 때문에 객체 인식 딥러닝 네트워크만을 이용하여 손인식을 진행할 경우 손동작의 작은 변화에도 분류 에러가 발생할 수 있다. 또한 손 관절 인식 네트워크는 복잡한 손의 구조를 인식 할 수 있지만 연산량이 커서 실시간 애플리케이션에 한계가 있다. 본 논문에서는 객체 인식 딥러닝 네트워크와 손 관절 인식 네트워크를 같이 사용하여 높은 손 인식 정확도를 유지하는 방법을 제안한다. 또한 제안한 방법을 이용하여 가상 키보드를 개발하였으며 클릭 동작일 때에만 손 관절 인식 네트워크를 사용함으로써 실시간으로 정확한 가상 키보드 타이핑이 가능하게 하였다. 제안한 프로세스는 먼저 객체 인식 딥러닝 네트워크를 이용하여 입력된 RGB 영상 중 bounding box와 손동작의 클래스를 찾는다. 다음 손동작이 클릭 동작일 경우에 손 관절을 찾아주는 딥러닝 네트워크를 선택적으로 사용하여 정확한 손동작 분류와 손가락 인식을 진행한다. 제안한 알고리즘은 단일 객체 인식 네트워크 대비 손동작 인식 정확도를 19.93% 향상시키고 손가락 끝점 인식의 RMSE(Root Mean Square Error)를 약 66% 감소시켰다. 동영상 입력을 주었을 때 제안한 알고리즘의 이미지 처리 속도는 38.26fps로 객체 인식 네트워크만을 사용했을 때보다 감소하였지만 여전히 실시간 애플리케이션에 부합되었다. 제안한 알고리즘 기반의 가상 키보드를 여러 가지 키보드 레이아웃에 적용하여 사용자 테스트를 진행하였다. 실험 결과 객체 인식 기반의 가상 키보드를 사용했을 때보다 제안한 알고리즘의 오타율이 32.35% 감소하였다. 또한 한 문장당 평균 타이핑 시간은 7.3% 감소하였다.