모바일 로봇의 물체 파지 인식을 위한 셀프 라벨링 온라인 학습

Abstract

동적인 환경에서 물체 파지를 정확하고 견고하게 하는 것은 모바일 조작 로봇이 성공적으로 과업을 수행하는데 필수적이다. 과거 암 로봇의 조작 연구에선 파지 인식을 위해 촉각 센서나 시각 센서를 사용하여 이를 해결하고자 했다. 하지만 이동형 로봇은 변화하는 환경에서 움직임으로 인해 노이즈가 발생함을 고려해야 한다. 최근 파지 인식 연구는 학습 기반 알고리즘에 의존하고 있다. 학습 기반 방법은 데이터를 수집하고 라벨을 입력하는데 많은 시간과 노력이 필요한 제한이 있다. 따라서 본 논문은 로봇의 파지인식학습을 위해, 스스로 라벨링을 수행하며 온라인 학습하는 과정을 자동화하는 종단간(end-to-end) 방법을 제시한다. 셀프 라벨링은 로봇이 물체가 파지 후 사라졌는지 여부를 카메라를 통한 물체 인식으로 확인하여 수행한다. 파지 인식은 멀티모달 파지 인식 네트워크를 통해 학습되며, 이때 입력 데이터는 카메라와 그리퍼의 여러 센서를 통해 얻은 데이터를 활용한다. 제안한 방법을 검증하기 위해 실내 거실 환경에서 정리정돈 과업을 수행하는 실험을 설계하였다. HSR 로봇을 활용해 11개의 물체를 정리정돈하는 두가지 비교실험을 진행하였고, 파지 인식 네트워크를 사용한 실험이 사용하지 않은 실험대비 파지 실패가 3회, 5회 발생했을 때 과업 수행 시간에서 각각 10.7%와 14.7%의 향상을 보여 제안한 방법의 효율성을 입증하였다.

In this paper, we proposed a new grasp perception method for mobile manipulation robot that utilizes both self-labeling and online learning. Self-labeling is implemented by using object detection as supervision, and online learning was achieved by training the model with a randomly sampled batch from a queue-based memory. For robust perception, the GPN model is trained by processing four types of sensory data, and shows high accuracy in performance with various objects. To demonstrate our self-labeling online learning framework, we designed a pick-and-place experiment in a real-world environment with everyday objects. We verified the effectiveness of the GPN by a comparative experiment that measured the task performance by comparing time within two demos: one using the GPN-trained model, and the other using a simple logical method. As a result, it was confirmed that using the GPN does contribute in saving time for picking and placing the objects, especially if more failures occur, or the time spent in delivering the objects increases.