Multi-Contact Simulator and Reinforcement Learning for Screw Tightening Tasks

Abstract

본 논문에서는 나사체결을 위한 다중접촉 시뮬레이터와 그를 활용한 강화학습 적용에 대해 기술한다. 강화학습을 통한 정책은 반력 정보를 사용할 수 있고 물리 변수들의 불확실성에 강건할 수 있다는 장점이 있지만, 지역 최적에 빠지기 쉽고 데이터 효율이 나쁘다는 단점이 있다. 특히 나사조립과 같은 조립작업의 경우 복잡한 형상의 다중접촉을 효율적으로 계산하는 시뮬레이터가 부재하고 목적지까지 경로가 복잡하기에 강화학습 적용에 어려움이 있다. 이를 해결하기 위해 먼저 C-space에서 다중접촉 모델을 개발하여 나사체결 시뮬레이터의 효율을 향상시켰다. 또한 다중 홀로노믹 제한을 위한 C-space 에서의 체적 모델을 개발함으로써 복잡한 형상간 접촉에서도 시뮬레이션의 강건성을 향상시켰다. 이와 함께 나사체결 자동화를 위한 계층 구조의 제어기를 개발하였다. 특히 표본기반 경로계획을 도입하여 반응적인 하층 제어기를 개발하였고 이를 통해 지역 최적 문제를 해결하였다. 하층 제어기의 변수들을 새로운 행동 영역으로 정의한 상층 제어기를 강화학습으로 학습하였고, 이 때 빠르고 강건한 시뮬레이터를 통한 영역 무작위화 기법을 사용하여 기하학적 불확실성에도 강건한 제어기를 개발하였다.

The policy through RL has the advantage of utilizing haptic information and being robust against the uncertainty of physical parameters, but it has the disadvantage of being prone to local minima. Especially in the case of nut tightening, it is difficult to apply RL because there is no simulator to efficiently calculate the multi-contact of complex shape and the route to the destination is complicated. To solve this problem, we first developed a multi-contact model in C-space to improve the efficiency of the simulator. Also, we develop a volumetric contact representation in C-space for multi-holonomic constraint, which improves the robustness. In addition, we develop a hierarchical controller whose low-level controller is based on SPP, which makes it avoid the local minima. The high-level controller, which defines the parameter of the low-level controller as actions, was trained by RL. During training, we use the developed simulator with domain randomization technique which makes the controller robust to geometric uncertainty.