FOD Detection Model using Virtual Image and Drone

Abstract

FOD(Foreign Object Debris)는 공항지역 내 부적절한 장소에 위치하여 항공기 및 항공인력에게 피해를 줄 수 있는 물체를 통칭하는 개념이다. 이 FOD는 운항안전을 심각하게 위협하는 요소이며 매년 엄청난 규모의 직·간접 경제적 피해를 유발하고 있다. 전 세계 공항에서는 FOD 탐지 및 제거를 중요한 업무로 수행하고 있지만, 아직도 대부분의 공항에서는 인력이나 차량을 이용하는 전통적인 방법을 사용하고 있다. 이러한 방법은 많은 자원이 투입될 뿐만 아니라 탐지누락의 위험성을 내포하고 있으며 작업시간 동안 항공기 운항을 중단해야 하는 한계점이 있다. 또한 FOD 발생을 근본적으로 예방하기 위해 필요한 세부정보를 확보하는 것도 제한된다. 이러한 한계점을 해소하기 위해 최근에는 컴퓨터 비전을 활용한 FOD탐지 연구들이 진행되고 있다. 그러나 기존의 연구들은 현장 적용에 부적합한 스케일의 이미지들을 학습데이터로 사용했다. 활주로처럼 넓은 지역에서 작은 FOD를 찾아야 하는 현장여건에 맞지 않게 근거리에서 촬영된 이미지들을 사용했다. 이러한 데이터로 학습된 모델은 실제 현장에서 쓰이기에는 한계가 있다. 또한 적합한 스케일로 데이터를 직접 촬영하더라도 그것은 컴퓨터 비전의 큰 장점 중 하나인 효율성을 크게 퇴색시키는 작업이 될 것이다. 다른 컴퓨터 비전 모델들과 같이 확보한 데이터를 전처리하는 과정도 많은 시간이 소모된다. 이러한 한계점들을 해소하기 위해 본 연구에서는 가상이미지를 학습데이터로 활용한 FOD 탐지모델을 제시한다. 가상이미지를 활용함으로써 현장적용에 적합한 스케일의 학습데이터를 효율적으로 생성할 수 있었다. FOD 재질과 배경, 일사조건의 조합을 통해 데이터의 다양성도 확보할 수 있었다. 또한 데이터 전처리과정에서 소모되는 시간을 대폭 줄일 수 있었다. 테스트데이터는 드론으로 실제 촬영한 이미지를 활용했다. 실험은 크게 3개로 나누어 진행했다. 첫 번째는 실제이미지로 학습한 모델과 가상이미지로 학습한 모델의 성능 비교실험이다. 두 번째는 이전연구들과 유사하게 근거리에서 촬영된 이미지로 학습한 모델의 성능평가이다. 세 번째는 현장적용을 고려하여 원거리에서 촬영된 이미지로 학습한 모델의 성능평가이다. 실험의 결과로 가상이미지로 학습한 FOD 탐지모델의 효용성을 입증하였으며 본 모델을 현장에서 사용하기 위한 세부조건들을 분석했다. 본 연구의 결과는 컴퓨터 비전과 드론을 활용한 FOD 탐지체계 구축에 기여할 수 있다. 많은 자원이 소모되는 기존의 탐지방식과 현장적용이 제한되는 이전 연구들의 한계점을 개선시킬 수 있다. 더 나아가 FOD 발생을 예방하고 효율적으로 제거하기 위해 필요한 기초자료를 수집하는 방법으로도 활용할 수 있을 것이다.

FOD (Foreign Object Debris) is a concept that means an object that is located in an inappropriate place in the airport area and can cause damage to aircraft and personnel. FOD is a serious threat to flight safety and causes enormous direct and indirect economic damage every year. Although FOD detection and removal is an important task in airports around the world, most airports still use the traditional method using personnel or vehicles. This method not only consumes a lot of resources but also contains the risk of missing detection. And it has a limitation in that aircraft operations must be stopped during detection work. It also limits obtaining the details necessary to prevent FOD occurrences. In order to solve this limitation, recently, FOD detection studies using computer vision are being conducted. However, previous studies used images with unsuitable scale for field application as training data. Images taken at a close range were used, which was not suitable for the field conditions where a small FOD was found in a large area such as a runway. Models trained from these data have limitations in being used in the actual field. Also, even shooting data directly at a suitable scale would be a task that undermines the effectiveness of computer vision. Like other computer vision models, the process of preprocessing the training data also consumes a lot of time. To solve these limitations, this study suggests a FOD detection model using virtual images as training data. By using the virtual image, it was possible to efficiently generate training data with a scale suitable for field application. Through the combination of FOD materials, backgrounds and solar conditions, the diversity of data was also secured. In addition, the time consumed in the data preprocessing process was greatly reduced. Images taken with a drone were used as test data. Three experiments were conducted. The first is a comparison of the performance of a model trained with a real image and a model trained with a virtual image. The second is the performance test of the model trained with virtual images taken at close range, similar to previous studies. The third is the performance test of the model trained with virtual images taken from a long distance in consideration of field application. As a result of the experiment, the effectiveness of the FOD detection model trained with virtual images was proven. And the detailed conditions for using this model in the field were analyzed. The results of this study can contribute to the establishment of a FOD detection system using computer vision and drones. The results can solve the limitations of existing detection methods and previous studies. Furthermore, it can be used as a method of collecting basic data necessary to prevent and effectively remove FOD.