Refining 3D Hand Pose Estimation Using Masked Language Model

Abstract

3D Hand Pose Estimation 문제는 한 장의 2차원 image를 이용하여 3차원의 손 좌표를 추정하는 문제로, 2차원 image에서 손의 일부가 가려지는 경우들 때문에 현존하는 접근방식으로 풀기에 까다로운 문제이다. 최근에 연구자들은 많은 양의 데이터를 모으거나, 합성하여 이 문제를 해결하려 했다. 하지만, 이러한 데이터 기반 접근들은 각 관절들이 독립적이라 가정하고 문제를 풀거나, 물리적으로 드러나는 관절들의 연결 관계만 가지고서 문제를 해결하려 했기때문에 성능 향상에 한계가 있었다. 이러한 문제를 완화하기 위해, 손 관절의 3차원 좌표들 간의 관계를 학습시키고 이를 기반으로 미세조정을 하여 전반적인 성능을 끌어 올리는 방법을 이 논문에서 제안 한다. 자연어 처리 분야에서 가장 많이 쓰이는 BERT 모델에서 영감을 받았으며, BERT를 이용하여 보이지 않는 손에 대하여 잘 추정하도록 하는 모듈을 추가함으로써 기존에 있던 접근방식들 보다 더 좋은 결과를 실험에서 얻을 수 있었다. 또한, 물리적인 관절간의 연결 관계에 갇혀있지 않고, 모델이 데이터로부터 각 관절간의 영향력을 파악하여 위치를 세부 조정하게 하였다. 이렇게 학습한 연결 관계를 시각화 하여 이 논문에 일부 소개하였고, 이를 통해 눈에 보이는 물리적인 연결관계 뿐만 아니라 관계없어 보이는 관절들 간에도 영향을 주고받고 있다고 가정하는 것이 훨씬 더 좋은 접근방법임을 관찰할 수 있었다.

Accurately estimating hand/body pose from a single viewpoint under occlusion is challenging for most of the current approaches. Recent approaches have tried to address the occlusion problem by collecting or synthesizing images having joint occlusions. However, the data-driven approaches failed to tackle the occlusion because they assumed that joints are independent or they only used explicit joint connection. To mitigate this problem, I propose a method that learns joint relations and refines the occluded information based on their relation. Inspired by BERT in Natural Language Processing, I pre-train a refinement module and add it at the end of the proposed framework. Refinement improves not only the accuracy of occluded joints but also the accuracy of whole joints. In addition, instead of using a physical connection between joints, the proposed model learns their relation from the data. I visualized the learned joint relation in this paper, and it implies that assuming explicit connection hinders the model from accurately predicting joint locations accurately.