CNN 및 Edge detection 기반 고속 손 동작 인식

Abstract

최근 스마트 기기와 가상/증강 현실 기술에 적용하기 위한 human-computer interaction(HCI) 방법으로 손 제스처 인식이 주목을 받고 있다. 손 제스처를 이용한 HCI가 주목을 받음에 따라 영상으로부터 손을 인식하고 정확하게 추적하기 위한 연구들이 널리 수행되었다. 연구가 수행됨에 따라 성능 또한 계속 발전해왔다. 최근에는 딥러닝 기술의 발전으로 기존 컴퓨터 비젼 알고리즘 대비 높은 성능을 보이고 있다. 하지만 딥러닝 기반 알고리즘은 기존 알고리즘 대비 매우 높은 연산 복잡도를 가지고 있는데, 주로 손과 관련된 기술이 사용되는 환경은 제한된 연산 능력을 가진 임베디드 디바이스이므로, 임베디드 디바이스에서는 활용이 어려운 한계가 있다. 본 논문에서는 임베디드 디바이스에서 실시간으로 손을 인식하고 추적할 수 있는 알고리즘을 제안한다. 또한 기존의 컴퓨터 비젼 알고리즘을 사용할 때 발생하는 문제들을 해결하기 위해 딥러닝 기반 알고리즘을 선택적으로 사용하여 정확도를 높이는 방법을 제안한다. 손을 인식하는 과정은 초기 오인식을 방지하고 정확하게 손을 인식하기 위해 딥러닝 기반 Object detection 알고리즘을 사용한다. 손 인식 과정에서는 기존 컴퓨터 비젼 알고리즘 대비 12.8% 높은 인식률을 보임을 확인하였다. 딥러닝 기반으로 손을 인식한 뒤에는 연산량이 적은 손 추적 알고리즘을 사용하여 손을 추적하고 손의 좌표 데이터를 취득한다. 손을 추적하는 과정에서 추적에 실패한 경우 딥러닝 기반 손 인식 알고리즘을 선택적으로 사용하며 추적 성능을 개선하였으며, 기존 방식에 비해 16.1% 높은 성능을 보임을 확인하였다. 또한 컨볼루션 신경망의 연산량을 줄이는 연구도 진행하였고, 손 인식 과정에서는 연산량 감소 기법을 사용하면 약 91%의 연산량을 줄일 수 있으며, 손 추적 과정에서는 약 72%의 연산량을 줄일 수 있다. 그러면서 손 인식 성능은 87.1%에서 98.8%로 향상되었고, 손 추적 성능은 83.5%에서 98.6%로 향상되었다.