Single Camera-based 3D Pose Estimation and Localization of Construction Equipment using Virtual Models

Abstract

In recent years, there is increasing practical interest in construction site monitoring using closed circuit television (CCTV) camera installed on site. Various image analysis technologies have also been developed for image monitoring of construction sites, such as activity classification and productivity analysis of construction equipment using CCTV image data, and detection of access to dangerous areas. However, previous studies mainly focused on identifying and tracking construction equipment or classifying activity in CCTV image data, but did not deal with detailed pose information of construction equipment. Pose estimation of construction equipment is the acquisition of two-dimensional (2D) or three-dimensional (3D) coordinate information (i.e., its location and orientation) for each keypoint of the equipment, providing basic mechanical information for identifying construction equipment posture, remote control, productivity analysis of construction projects, and safety analysis of construction sites. Knowing construction equipment's pose information, it is possible to understand the operation of the equipment in more detail and detect hazardous conditions. This research proposes a method to 3D pose estimation and localization of construction equipment using a single camera image data and 3D virtual model. The research process consists of four main steps as follows. First, the construction site monitoring using the existing image analysis technology and construction equipment pose estimation were defined from literature research. Second, 3D virtual model's keypoints were stored in the 2D image data of the construction site through 2D - 3D annotation process. Third, a construction equipment pose estimation method was developed that detects and extracts construction equipment from the construction site image data, derives similar images through image matching, and estimates the equipment pose. Finally, the performance of the construction equipment pose estimation result was evaluated using image data collected at three construction sites. As a result, the pose of construction equipment can be estimated from a single camera image data through the method proposed in this research, and it was confirmed that pose estimation is possible even for the part where the equipment is obscured. In addition, it is expected to be helpful in analyzing interactions between the equipment by using pose estimation results.

최근 영상분석기술의 빠른 발전과 함께 현장에 설치된 closed circuit television (CCTV) 카메라를 활용하는 건설현장 영상 모니터링 기술에 대한 실무적 관심이 높아지고 있다. CCTV 영상 데이터를 활용한 건설장비의 작업 분류 및 생산성 분석, 위험구역 접근 감지 등 건설현장 영상 모니터링을 위한 다양한 영상분석기술들도 개발되었다. 하지만 이전의 연구들은 주로 영상 데이터 속에서 건설장비를 식별하고 추적하거나, 작업을 분류하는 데 초점을 맞추었을 뿐 건설장비의 포즈 추정에 대해서는 자세히 다루지 않았다. 건설장비의 포즈 추정은 장비의 각 키포인트별 2차원 혹은 3차원 좌표 정보 (i.e., its location and orientation)를 획득하는 것으로, 건설장비 자세 파악 및 원격 제어, 건설 현장의 안전성 분석 및 건설 프로젝트의 생산성 분석을 위한 기본적인 기계 정보를 제공한다. 건설장비의 포즈 정보를 알면 장비 전체의 동적 상태 및 자세 변화를 보다 자세하게 파악할 수 있으며, 주변 작업자나 장비와의 잠재적 충돌 사고를 방지하는 것이 가능하다. 본 연구는 단일 카메라 영상을 기반으로 3차원 가상 모델을 이용하여 건설장비의 3차원 포즈와 위치를 추정하는 방법을 제안한다. 연구는 크게 네 가지 단계로 구성되어 있다. 첫째로, 문헌조사를 통해 기존 영상분석기술을 활용한 건설현장 모니터링 기술과 건설장비 포즈 추정 기술을 정의하였다. 둘째로, 단일 카메라 영상에서 건설장비의 포즈를 추정하기 위해 건설현장 2차원 이미지 데이터에 3차원 가상 모델 데이터를 저장하였다. 셋째로, 건설현장 영상 데이터로부터 건설장비를 탐지 및 추출하고, 이미지 매칭을 통하여 유사 이미지를 도출하는 건설장비 포즈 추정 방법을 개발하였다. 마지막으로, 3곳의 건설현장에서 수집한 영상 데이터를 이용하여 건설장비 포즈 추정 결과의 성능을 검증하였다. 그 결과 본 연구에서 제안한 방법을 통해 단일 영상 데이터에서 건설장비의 포즈 추정할 수 있음을 보였으며, 건설장비가 가려지는 부분에 대해서도 포즈 추정이 가능함을 확인하였다. 뿐만 아니라, 여러 장비들의 포즈 추정값을 이용하여 장비들 간의 상호작용 분석에도 도움이 될 것으로 기대된다.