Enhanced Human-Robot-Environment Interactions Enabled by Multi-Stiffness Soft Sensors and Interactive Control

Abstract

This thesis addresses the grand challenge of making the robots friendly to humans and adaptive to the surrounding environment. The thesis makes attempts to improve the human-robot-environment interaction loop by seeking solutions from soft robotics technologies. To achieve the ultimate goal, three practical problems are defined. The first problem is to accurately perceive each of the human, robot, and the environment. In Chapter 2, the multi-stiffness sensor structure with improved sensitivity is proposed to solve the problem. Theoretical modeling and experimental validation are presented to prove the performance of the structure. The second problem is to measure the motion of human hands, which are actively and elaborately used for interacting with the robots and environments. To achieve both the accuracy of sensing and the structural simplicity, in Chapter 3, the multi-stiffness sensor-based wearable glove is developed and the post-processing method for collecting accurate ground truth data for calibration of the glove is proposed. The hand-tracking system is able to achieve unprecedented accuracy and robustness compared to the previous studies, which are shown through quantitative and qualitative evaluations. The third problem is to connect the human and soft robots, by implementing self-sensing functionality to a soft robot for accurate control of its motion and developing a haptic device to transmit back the robots states to the human. In Chapter 4, an ionic electroactive polymer-based actuator is selected as a solution because of its structural compactness, low input voltage, and inherent safety. By integrating the soft sensor into the actuator and using the customized haptic device, accurate teleoperation of the soft gripper system for a practical pick-and-place task is demonstrated. The last problem is to connect the soft robots and the surrounding environments to complete the entire interaction loop. In Chapter 5, a method of hybrid system analysis is proposed that allows the high complexity of the soft robots kinematics to be simplified. The method enables the robot to identify and adapt to the environment using the embedded sensors while interacting with it. A pneumatic gripper system trying to grasp an unknown object is selected as an example to implement the method. Based on the method, the robotic gripper successfully completes the given task by estimating the unknown size of the object and modulating its body position to grasp the object.

Keyword : Robotics, Human-Robot Interaction, Robot-Environment Interaction, Soft Robotics, Grippers, Multi-material, Human Motion Tracking, Hybrid System.

본 논문은 인간 친화적이고 주변 환경에 적응할 수 있는 로봇 시스템의 개발을 가장 큰 목표로 다룬다. 논문은 인간, 로봇, 환경 상호작용의 성능의 개선을 위해 소프트 로봇 기술로부터 그 해결책을 찾고자 한다. 궁극적인 목표의 달성을 위해 세가지의 실질적 문제가 정의된다. 첫번째 문제는 인간, 로봇, 환경 각각의 시스템을 정확하게 인식하는 것이다. 2장에서는 이 문제를 해결하기 위해 개선된 민감도를 갖는 다중 강성 센서 구조를 제안한다. 그리고 이 구조의 성능을 이론적 모델링과 실험적 검증을 통해 입증한다. 두번째 문제는 로봇 및 환경과의 상호작용을 위해 가장 적극적이고 정교하게 사용되는 인간 손의 움직임을 측정하는 것이다. 3장에서는 측정의 정확성과 구조의 간결함을 동시에 확보하기 위해 다중 강성 센서 기반의 착용형 장갑을 개발하고, 이 장갑의 캘리브레이션을 위한 정확한 레퍼런스 데이터 수집을 위한 후처리 방법을 제안한다. 또한 정량 및 정성 평가를 통해 제안한 손 트래킹 시스템의 우수한 정확성과 강건성을 입증한다. 세번째 문제는 소프트 로봇의 정확한 동작 제어를 위한 자가 감각 기능의 구현과 이 로봇의 상태를 다시 인간에게 전달할 수 있는 햅틱 디바이스 개발을 통해 인간과 로봇을 연결하는 것이다. 4장에서는 구조적 간결성, 낮은 입력 전압 및 고유한 안전성을 갖춘 이온 기반 전기 활성 고분자 구동기를 해결책으로 선택한다. 소프트 센서가 통합된 고분자 구동기와 햅틱 디바이스가 통합된 소프트 그리퍼 시스템의 정확한 원격 조작을 통한 실용적인 파지 및 놓기 작업을 시연한다. 마지막 문제는 소프트 로봇과 주변 환경을 연결하여 전체 상호작용을 완성하는 것이었다. 5장에서는 높은 복잡도를 갖는 소프트 로봇의 기구학을 단순화하기 위한 하이브리드 시스템 분석 방법을 제안한다. 이를 통해 환경과 상호작용하는 동안 로봇은 내장된 센서를 활용하여 환경을 식별하고 이에 적응할 수 있다. 이 방법을 실제로 구현하기 위해, 미지의 물체를 잡기 위한 공압 그리퍼 시스템을 예로 든다. 제안된 분석 방법을 통해 로봇 그리퍼는 미지의 물체의 크기를 추정하고 이에 기반해 자신의 위치를 조절함으로써 주어진 작업을 성공적으로 수행한다.