손 및 팔의 자세 추정을 위한 다시점 뎁스 데이터의 3차원 정합

Abstract

본 논문은 효율적이고 빠른 3차원 정합 기술을 활용하여 사람의 손과 팔의 연결된 자세 추정을 가능하게 하는 해법을 제시하였다. 뎁스 카메라의 낮은 해상도와 제한된 인식범위 때문에, 손과팔의 연결된 자세 추정은 손 자체의 자세 추정보다 더 어려운 문제이다. 이러한 문제를 해결하기 위해 우리는 서로 다른 인식 범위와 해상도를 가지는 다수의 뎁스 센서를 이용하여 특별한 장치나 마커가 필요 없는 소규모 모션 캡쳐 시스템을 구축하였다. 넓은 인식 범위를 가지지만 해상도가 낮은 Kinect 센서는 팔의 자세 추정을 위한 스켈레톤 데이터를 제공해주고, 높은 해상도를 가지지만 인식 범위가 좁은 Senz3D 센서는 손의 스켈레톤 데이터를 제공해준다. 이렇게 다수의 뎁스 센서로부터 얻은 3차원 점군 데이터들을 통일된 기준 좌표계로 표현하기 위해서 3차원 정합 기술을 이용하였다. 이를 통해 최종적으로 기준 좌표계에서의 손과 팔의 연결된 스켈레톤 데이터들을 얻을 수 있고, 이를 이용하여 자세 추정을 하였다. 각 센서로부터 얻은 스켈레톤 데이터들은 3차원 정합 과정 중에서 세그멘테이션과 아웃라이어 리젝션 과정에 효율적으로 쓰인다. 특히, 본 논문에서는 정합할 대상에 대한 정보인 스켈레톤 데이터를 최대한 활용하는 새롭고 빠른 아웃라이어 리젝션 기법을 제시하였다.

In this paper, we propose a fast and efficient solution to articulated Hand-Arm pose estimation using the 3D registration. Due to low quality of depth data and narrow range of recognition, the estimation of the full pose of a human hand with arm is much more challenging than pose recovery of a hand observed in isolation. Using multiple depth sensors that have different recognition area and resolution, we build a small and simple motion capture system with marker-less input data to resolve the above issues. Kinect sensor with wide recognition area and low resolution provides a skeleton model of arm. In contrast, creative Senz3D sensor with narrow recognition area and high resolution provides a skeleton model of hand. These skeletal data are effectively used for segmentation and outlier rejection in the 3D registration process. In the registration process, we present a new and fast Outlier Rejection method that makes the best use of skeletal consistency.