Ground Surface Classification and Area Estimation Using UAV-Collected Images for Smart Earthmoving

Abstract

글로벌 건설 산업은 건설 인력 부족과 낮은 생산성으로 어려움을 겪고 있다. 이를 해결하기 위해 산업 전반에 걸쳐 건설 프로세스를 자동화하려는 움직임이 많이 나타나고 있다. 특히, 건설 선진국에서는 각종 장비 자동화 시스템을 도입하고 있고, 산·학계에서는 건설 장비가 많이 활용되는 토공사에 초점을 맞추어 자동화 기술을 개발하고 상용화하고 있다. 특히, 토공 장비의 제어와 가이던스 관련 기술을 개발하고 현장 실증을 수행하고 있다.

현장에서 자동화 장비가 작업을 안전하고 정확하게 수행하려면 현장 정보를 정확하게 이해하는 게 중요하다. 이를 위해 기존 연구자들은 레이저스캐너와 UAV를 활용하여 현장을 3차원 모델링하거나 현장에 존재하는 객체들을 (e.g., 장비, 작업자, 자재) 자동으로 인식하고 모니터링 하는 연구를 수행하였다. 무엇보다도 실제 토공 장비의 자동화를 이루기 위해서는 장비가 현장의 지표면 유형을 잘 파악하는 것이 필요한데, 이는 현장의 지표면 유형에 따라 장비가 수행해야하는 작업이 달라지고 장비의 안전한 운행을 위해서도 필수적이기 때문이다.

가령, 토공사의 예산 비중이 높은 도로공사의 경우, 설계된 구역에 맞추어 현장의 지표면을 관리하는 것이 중요한데 이때 지표면 유형에 따라 필요한 작업이 달라진다. 더불어, 자동화 장비 운행 시 식생, 암석, 웅덩이 등 현장의 지표면 유형에 따라 장비가 접근이 가능한 구역이 달라진다. 이처럼, 토공 작업의 자동화를 위해서는 자동화 장비가 현장의 어떤 지표면에 작업이 필요한지, 어떤 지표면에 접근이 가능한지 등에 대한 지표면 정보 (지표면 유형, 위치, 면적 등)를 자동으로 분석하여 제공하는 것이 필요한데 현재 이에 관한 연구는 부족하다.

이를 위해, 본 연구는 UAV와 컴퓨터 비전 기술을 활용하여 도로건설 현장의 지표면을 자동으로 분류하고 면적을 산출하는 방법론을 제안한다. 먼저, 지표면 데이터셋을 구축하기 위해 초해상도 기반 데이터 증강 기법을 제안한다. 구축된 데이터셋을 바탕으로 지표면 유형을 자동으로 분류하기 위한 딥러닝 기반의 다중 레이블 분류 방법을 제안한다. 더 나아가, 자동화 장비에게 지표면 유형별 면적 정보를 제공하기 위해 분류된 지표면을 픽셀 단위로 분할하여 면적을 추정하고 그 결과를 포인트 클라우드에 맵핑하여 3차원으로 시각화하는 방법을 제안한다.

제안한 지표면 데이터셋 구축 방법을 적용한 결과, 제안한 방법을 적용하지 않은 모델에 비해 평균 f1 score 0.16의 분류 성능 향상을 보였다. 구축된 데이터셋으로 학습된 지표면 분류 모델은 평균 성능 f1 score 0.88로 현장의 지표면을 토질, 암석, 식생, 웅덩이, 보호망으로 분류하였다. 더 나아가, 제안한 면적 추정 방법을 적용하여 분류된 지표면 격자를 픽셀 단위로 분할하고 면적의 형태로 정량화 하였다. 그 결과, 평균 상대오차 0.15의 성능으로 지표면 유형별 면적을 산출하였다. 최종적으로 면적 산출 결과를 포인트 클라우드에 맵핑하여 3차원의 형태로 정보를 시각화 하였다.

제안한 방법론을 검증하기 위해 실제 도로 건설 현장에서 수집한 UAV 이미지를 이용하여 실험을 수행하였다. 그 결과, 제안한 방법이 건설기계 자동화 운영을 위한 주요 현장 정보인 지표면 유형 (평균 f1 score 0.81) 및 지표면 면적 (평균 상대오차 0.21)을 기존 방식보다 효율적으로 생성할 수 있었다. UAV 이미지로부터 지표면 유형별 면적을 산출하는 데까지 소요되는 시간을 기존 상용 툴을 활용한 방법 보다 약 30% 이하로 단축하였다. 또한, 본 연구에서 고찰한 현장의 지표면 특성은 건설자동화장비의 운용을 위한 주요 지표면 정보를 자동으로 생성하는 데 중요한 역할을 하는 것을 확인하였다.

결론적으로 본 연구에서는 UAV와 컴퓨터 비전 기술을 활용하여 도로 건설 현장에서 지표면 모니터링을 자동화하는 방법론을 제안하였다. 본 연구의 최종 결과물을 통해 도로건설 현장의 지표면 정보를 이해하는 데 필요한 시간과 인력을 크게 줄일 수 있고, 이는 자동화 장비가 현장에서 안전하고 효과적으로 작업하기 위한 필수적인 지표면 정보를 효율적으로 제공할 수 있다. 특히, 광활한 도로공사 현장의 지표면은 작업의 진행, 악천후 등에 따라 그 상태가 수시로 변하는 특성이 있어 이를 매번 수작업으로 파악하기 힘든데, 제안한 방법론을 통해 현장 관리자 및 자동화 장비가 건설 현장의 상황에 따라 수시로 변하는 지표면 상태를 자동으로 파악할 수 있다. 가령, 자동화 장비가 상태가 좋지 않은 지표면을 피할 수 있게 하여 전복 사고를 예방할 수 있고, 지표면 유형에 따라 작업이 필요한 구역을 효율적으로 파악할 수 있다. 본 연구는 현장의 지표면에 대한 심층적인 이해를 도모하여 스마트 건설기술 개발을 위한 지식체계에 기여할 수 있다.

The global construction industry suffers from a shortage of workers and low productivity. To address the issues, the industry is introducing smart construction technology. Especially developed countries have tried introducing robotic and autonomous systems to automate construction. Accordingly, industry and academia are developing and commercializing automation technology focusing on earthmoving, where construction equipment is used extensively. For the automated equipment to work on the construction site, the equipment needs to understand site information accurately. To this end, many researchers have focused on modeling the site using a laser scanner and UAV or automatically detecting and monitoring objects existing on the site.

Above all, for the complete automation of earthmoving equipment, it is necessary to analyze and provide information on the ground surface to the automated equipment, such as on which ground surface of the site is workable and on which ground surface is accessible. In the case of road construction, it is crucial to manage the ground surface on-site according to the designed clearing limit area. The national construction standards in the United States and South Korea specify that ground surface types, such as soil, rocks, trees, and puddles, existing on the site need to be treated. Moreover, when operating automated equipment, the area it can access varies depending on the ground surface types, such as trees, rocks, and puddles. As such, the equipment needs to understand the type of ground surface on the site for its effective operation.

However, in practice, the ground surface is monitored ineffectively. Site managers patrol the site and manually check for ground surface conditions. Unfortunately, since the size of road construction sites is typically enormous, the manual approach requires significant time and workforce resources. Moreover, it is challenging to continuously monitor changes in the ground surface due to weather or work progress. Many practitioners and researchers alike have thus identified several disadvantages of this human-dependent approach: it is time-consuming, cost-ineffective, and labor-intensive. Therefore, there is a need for a method to automatically analyze ground surface that has not been addressed in the previous studies.

Hence, this research aims to develop a methodology to automatically classify and estimate the ground surface on road construction sites using UAV and computer vision techniques. First, the author proposes a super-resolution-based data augmentation technique to build ground surface datasets. Based on the datasets, this research proposes a deep learning-based multi-label classification method to classify the ground surface types. In addition, to provide area information to the automated equipment, an unsupervised segmentation-based area estimation method is proposed to segment the classified patch and estimate the area by the classified ground surface types.

As a result of the ground surface datasets development, the classification performance improved by 0.16 before utilizing the proposed approach; the average f1 score of the classification model is 0.88. Then, the ground surface type in a patch resulted from the classification model was segmented by the unsupervised segmentation model and quantified in the form of area (average relative error of 0.15). Lastly, the ground surface area was superimposed onto point clouds to visualize in 3-D. The final result dramatically reduced the time and workforce required to acquire the ground surface information (i.e., ground surface type, location, and area) on road construction sites.

To validate the proposed methodology, this research conducted experiments using UAV images collected from road construction sites in a different environment. As a result, the proposed methodology can automatically generate key site information, such as ground surface type (average f1 score 0.81) and area (average relative error 0.21) for automated earthmoving equipment operation in a more efficient manner than the existing practices. The time required to process input UAV images and calculate the area for each type of surface was reduced to 30% or less compared to the existing manual method. Furthermore, it was confirmed that the ground surface characteristics considered in this research play a crucial role in providing site information with automated construction equipment.

In conclusion, earthmoving equipment and site managers can automatically understand the ground surface condition. The proposed methodology can reduce the cost and time for site management by enabling the managers and the equipment to quickly and effectively detect the ground surface. Earthmoving equipment can avoid unfavorable ground surfaces to prevent accidents and identify the workable area according to the surface type. Site managers can establish a work plan considering the ground surface condition. Finally, this research facilitated an in-depth understanding of ground surface types on the site, which could further improve opportunities for smart earthmoving.