Robot Grasping from Partial Point Cloud Data: Merging Deformable Models with Deep Learning

Abstract

Grasping novel and complex objects with partial observation is a challenging task for robots. One solution for this problem is through full shape estimation. Previous works estimated the full geometry by optimization of tting loss between observed partial point cloud to a set of shape primitive surfaces. However, these optimization-based tting cannot constrain the shape of the unobserved region, where points do not exist. Thus, they show disappointing performance of full shape estimation. In order to solve such issue, we propose a novel supervised learning framework for full geometry estimation of partially observed objects. Also, we propose deformable-superquadrics, which can represent various shapes in continuous parameter space, as shape primitives to estimate the full geometry of complex objects. We show that our new learning framework well estimates the full geometry of complex household objects. By sampling antipodal points on the estimated surface, we could successfully nd grasp poses of the robot gripper.

로봇 파지에서 새로 본 복잡한 물체를 부분 관측만으로 파지하는 것은 어려운 문제이다. 이 문제를 해결하는 하나의 방법은 전체 형상을 먼저 예측한 후 파지하는 것이다. 이전의 연구들은 부분 관측된 점 구름과 단위 형상의 표면 사이의 거리를 최소화하는 최적화하는 문제를 풀어 부분 관측된 물체의 전체 형상을 예측하였다. 하지만, 이러한 최적화 기반의 방법들은 점 구름이 존재하지 않는 부분에 대해 맞춰질 단위 형상의 모양에 대해 정보를 주지 못한다. 이로 인해 기존의 방법들은 부분 관측된 물체의 전체 형상 예측 성능이 떨어진다. 이러한 문제를 해결하기 위해, 우리는 부분 관측된 전체 형상을 예측할 수 있는 새로운 지도 학습 방법을 제안한다. 또한, 우리는 다양한 형상을 연속적인 변수 공간에서 표현할 수 있는, 변형 가능한 슈퍼 쿼드릭을 복잡한 물체를 근사하기 위한 단위 형상으로 제안을 한다. 이를 이용하면 이전의 연구와 비교하여 부분 관측된 물체의 전체 형상을 잘 예측하는 것을 실험적으로 확인하였다. 우리의 방법으로 예측한 전체 형상에서 정반대의 두 점을 찾아 물체를 성공적으로 파지할 수 있는 자세를 찾았다.