Challenges in Spatial Communication Using Deictic Gesture for Human-Robot Collaboration in Construction

Abstract

Despite the recent advances in AI-based perceptual and manipulative abilities in robotics, construction robots are often interfered by other operations when deployed onsite due to the complex work sequences and cluttered working environments. Thus, in order to frequently adapt and change their work flows and methods in these situations, the robots require humans improvisations. Along with the emerging needs for natural human-robot interaction, previous works have shown feasibility of the gesture-based human-robot interface for exchanging the spatial information, which is fundamental factors for in-situ improvisations. However, two critical gaps in evaluation exists: (1) Even though construction tasks are mostly performed in a large-scale, unstructured, and cluttered environment, previous works limited the application of the gesture-based interface for only for short-distance applications; (2) previous studies mainly focused on the evaluation of the robot performance without considering various positional relationships between the robot and the human pointer. To this end, this study aims to identify the challenges associated with the deictic gesture-based target panel referencing in a large-scale environment to evaluate the potential of the deictic gestures in panel installation tasks in construction. We selectively overviewed the spatial referring abilities of both human and robot through two experiments of panel pointing with different level of precision. In the first experiment, the results presented a significant performance drop in the ceiling and angled targets, while the overall recognition accuracy was acceptable (0.864). In the second experiment, the recognition accuracy of the robot dropped by 30.18% compared to the first experiment. The results of the second experiment presented that humans tend to have consistency in the spatial referring abilities, while the robots showed statistically significant difference pertaining to the pointer-robot distances. The results also showed the performance enhancement of the target deviation by 73.49% through pointing calibration. This paper contributes to the body of knowledge by evaluating the deictic gesture-based spatial referring ability of the robot in a large-scale human-robot collaborative environment, furthering the application of the deictic gestures and robotics to panel installation work.

최근 AI의 발전과 더불어 로봇의 지각 및 제어 능력의 비약적 발전에도 불구하고, 건설 로봇은 실제 현장에 배치되었을 때, 비구조화되고 비정형화된 작업환경으로 인해 빈번한 간섭을 받게 된다. 따라서 이러한 현장의 상황에 유연하게 대처하여 작업 순서 및 방식을 변형시키기 위해 인간의 현장 작업지시 (in-situ improvisations)가 필요하다. 선행연구에서는 직관적인 인간-로봇 상호작용을 위해 지시적 제스처를 통한 현장 작업지시의 기반이 되는 공간 참조 (spatial referencing)의 타당성을 검증하였다. 그러나 선행연구에서 진행한 성능 평가에는 두 가지 한계점이 존재한다: (1) 지시적 제스처를 통한 공간 참조는 좁은 공간 범위에 대해서만 개발되었으며, 건설현장과 같은 대규모 공간 및 비구조화된 공간에서는 제한적이다; (2) 인간과 로봇의 다양한 위치관계에 대한 고려 없이 성능 평가를 진행하였다. 이에 본 연구에서는 건설 작업 중 패널 설치 작업에서 지시적 제스처의 가능성을 검증하기 위해, 손동작을 통해 패널을 가리키는 과업에 대한 도전과제를 규명하는 것을 목표로 한다. 이를 위해 서로 다른 정밀도 범위를 요구하는 두 가지 실험을 통해 인간과 로봇의 공간 참조 능력을 평가하였다. 첫 번째 실험에서는, 전반적으로 높은 인식 정확도(0.864)를 보였으나, 천장 및 양 측면에 위치한 패널에서 성능이 감소하였다. 두 번째 실험에서는, 인식 정확도가 첫 번째 실험에 비해 30.18% 감소하였다. 두 번째 실험의 결과에서는 로봇이 인간에 비해 관측 위치에 대해 공간 참조 능력에 큰 편차를 보이는 것으로 나타났다. 또한, 지시 보정을 통해 목표 거리 오차가 73.49% 개선됨을 확인하였다. 본 연구는 건설현장과 같은 대규모 인간-로봇 협업 환경에서 로봇의 공간 참조 능력을 평가하였다는 점과 패널 설치 작업에서 지시적 제스처의 적용에 대한 가능성을 보여주었다는 점에서 그 의의가 있다.