Automated Construction Site Monitoring: Multi Vision-based Operational Context Analysis for Enhancing Earthmoving Productivity

Abstract

건설프로젝트를 성공적으로 수행하기 위해서는 복잡하고 시시각각 변화하는 현장의 상황을 올바르게 이해하고 생산성, 안전성, 공정률 등 작업성과를 분석하는 모니터링 과정이 매우 중요하다. 최근 건설 실무자들은 현장에 디지털 카메라를 설치하고 수집되는 영상을 관찰함으로써 모니터링을 진행하고 있다. 그러나 원격 모니터링의 시간/비용적 문제를 해결하기 위해서 많은 연구자들은 사람의 눈과 상황인식과정을 모사하는 컴퓨터비전 기술을 개발하고 현장에서 그 적용 가능성을 보여주었다. 하지만 기존의 연구는 카메라 설치를 위한 실무적 제약조건, 건설프로세스의 작업패턴 등 현장의 고유한 작업특성을 충분히 고려하지 않았고, 카메라 한 대의 영상을 분석하는 단일 영상모니터링 접근방법에 초첨을 맞추었기 때문에 대규모 건설현장을 모니터링하는 데 한계가 있다.

이를 해결하기 위해서 본 연구는 작업특성을 고려한 다중영상기반의 건설현장 모니터링 방법론을 제안한다. 특히, 건설프로젝트 총 예산과 비용에 상당한 영향을 미치고 현장관리자의 주요 관리대상인 토공작업의 생산성을 중심으로 연구를 수행하였으며, 구체적인 목표는 다음과 같다. 첫째로, 전문가 인터뷰와 사례연구를 수행하여 건설현장에 카메라 배치시 고려해야 할 실무적인 특성을 이해하고 파악하였다. 둘째로, 본 연구는 건설자원, 개별적인 행동, 자원 간 상호작용 등 주요 현장정보를 자동으로 추출하는 단일영상기반의 건설현장 모니터링 프레임워크를 제안하였다. 마지막으로, 서로 다른 카메라의 영상 데이터에서 독립적으로 분석된 결과를 연계하고 전체 현장의 작업성과를 이해하는 다중영상기반의 현장정보 통합 방법을 제시한다.

제안된 방법론을 검증하기 위해서 본 연구는 실제 건설현장에서 수집된 영상 데이터를 이용하여 실험을 수행하였다. 그 결과, 건설현장 모니터링을 위한 주요 현장정보를 자동으로 추출할 수 있었고, 본 연구에서 고려한 작업특성이 영상분석 및 현장 모니터링에 상당히 긍정적인 효과를 미치는 것을 확인하였다.

결론적으로, 본 논문은 주요 작업특성을 반영한 다중영상기반의 건설현장 모니터링 방법론을 제안하였다. 또한, 본 연구는 서로 다른 카메라에서 수집된 영상을 분석하고 연계하는 방법을 제안하였으며, 이는 건설 모니터링 분야에서 첫번째 시도이다. 제안된 방법론은 데이터 기반의 건설현장 자동 모니터링에 기여할 수 있으며, 안전성 평가, 품질관리, 공정관리 등 다양한 현장모니터링에 활용되거나 맞춤화될 수 있다. 이 같은 모니터링 과정을 통해서 건설현장과 작업의 복잡한 특성(예시: 토공량과 투입장비 간 관계)을 이해할 수 있으며, 사업비/공기 산정, 자원활용계획, 스케줄링, 작업순서 등 프로젝트 관리자의 의사결정을 효과적으로 지원할 수 있다.

Construction site monitoring – which is a process of collecting and analyzing on-site information, and finally evaluating and understanding project performance such as productivity, safety, quality, and work progress – is a critical task for successful project management. Practitioners, in recent years, remotely monitor construction sites by installing digital cameras and observing video stream data manually. Since the remote and manual monitoring requires extra time and costs for processing a large amount of video data, many researchers have developed computer vision-based algorithms to mimic human vision and support the demanding monitoring process. However, previous methods did not fully incorporate unique operational contexts of construction sites (e.g., practical constraints for camera placement on jobsites, working patterns of construction objects) although such domain knowledge plays a critical role in understanding jobsite videos and can enhance the level of information details and accuracies. Besides, prior works focused on a single vision-based approach that analyzes visual data collected from only one video camera, and thus it would not be able to monitor large-scale construction sites and obtain all the required on-site information. In these reasons, it is still challenging to automatically monitor construction sites precisely and continuously.

To address such challenges, this dissertation aims to propose a multi vision-based construction site monitoring methodology via operational context analysis. As the first step towards automated construction site monitoring, this research focuses on earthmoving productivity monitoring, which is a major concern for site managers due to its significant impacts on total project costs and durations. To this end, the author established and addressed the specific objectives as follows. First, to find a proper configuration of multi-camera network, this study understands and identifies practical characteristics of construction sites via expert interviews and case studies. Second, it presents a single vision-based construction site monitoring framework that extracts fundamental on-site information involving construction objects (i.e., object types, local identities, and locations), their individual actions, and interactions from video stream data. Lastly, multi vision-based on-site information integration is conducted to combine the results derived from multiple cameras installed at different locations; it enables to understand operational performance and work in progress of the entire construction sites.

To validate the proposed methodology, the author performed experiments using jobsite videos collected from actual construction sites. The results demonstrated the potential of the proposed methodology in capturing key information for construction site monitoring. It was also found that the operational contexts incorporated in this study have significant positive impacts on the performance of visual analytics and jobsite monitoring. Furthermore, the technical expandability of the proposed methodology was also confirmed through additional experiments using smartphone built-in sensors such as cameras, accelerometers, and gyroscopes.

In conclusion, this dissertation proposed the multi vision-based construction site monitoring methodology that incorporates unique operational contexts; particularly, the author identified the critical elements that explain the operational contexts of earthmoving processes. Also, this research introduced a new methodology that analyzes jobsite videos collected from multiple cameras installed at different locations, which is called multi vision-based construction site monitoring; to the best of the authors knowledge, this is the first attempt to analyze and integrate visual analytics derived from multiple cameras in the field of construction site monitoring. The methodology can contribute to automated data-driven jobsite monitoring and support project-related decisions such as cost/time estimation, resource allocation, scheduling, and work sequence. Thereby, it is also possible to enhance our understanding on the complex and dynamic natures of construction sites and processes. In the context of construction automation, the in-depth understanding on the construction production system can further bring opportunities to improve operating rules or patterns of unmanned machinery.