A Method for Detection and Tracking of Maritime Obstacles Based on Multi-Video

Abstract

Among the causes of marine accidents, human error accounts for a relatively high rate, and accordingly, the need for an autonomous recognition technology for recognizing the surroundings is emerging. Research on autonomous recognition technology using traditional recognition sensors such as Automatic Identification Systems (AIS) and Radio Detection and Ranging (RADAR) is being actively conducted, but there are clear limits. Therefore, we tried to develop a new cognitive technology to replace them. In this paper, we proposed an autonomous recognition technology using a camera to supplement the limitations of traditional cognitive sensors and replace human vision. First, the YOLOv5 algorithm, a real-time object detection algorithm based on camera images, was improved to increase obstacle detection accuracy. Then, a position transformation algorithm estimated the relative position of the detected obstacle. Based on the relative position of the obstacle, we proposed an adaptive extended Kalman filter to estimate the motion of the obstacle, such as trajectory, Course Over Ground (COG), and Speed Over Ground (SOG). In addition, assuming that USV is operated for strategic purposes and mutual communication and cooperation are possible, sensor fusion between data tracked by different cameras was performed to increase the accuracy of tracking data. It was confirmed that more accurate tracking data could be obtained by fusing the tracked data from several cameras to improve tracking accuracy or compensate for the disadvantages that occur in the tracking process of individual cameras.

해양에서 발생하는 사고의 원인 중에서 사람의 과실이 비교적 높은 비율을 차지하고 있으며, 그에 따라 선박 주변 인지를 위한 자율 인지 시스템의 필요성이 대두되고 있다. 전통적인 인지 센서인 Automatic Identification System (AIS)와 Radio Detection and Ranging (RADAR)를 활용한 자율 인지 기술에 관한 연구가 활발히 이루어지고 있으나, USV와 같은 소형선이 활동하는 연안에서는 AIS 누락, RADAR 사각 지대 등의 한계가 존재한다. 따라서 이들을 대체할 수 있는 새로운 인지 기술을 개발하고자 하였다. 본 논문에서는 전통적인 인지 센서의 한계를 보완하고 인간의 시각을 대체하고자 카메라를 활용한 자율 인지 기술을 제안하였다. 먼저 카메라 영상 기반의 실시간 객체 탐지 모델인 YOLOv5 모델을 개선하여 장애물 탐지 정확도를 높였으며, 단안 카메라를 활용한 위치 변환 알고리즘으로 탐지된 장애물의 상대적 위치를 추정하였다. 추정된 장애물의 상대적 위치를 바탕으로 본 논문에서 제안한 적응형 확장 칼만 필터 (adaptive extended Kalman Filter)를 이용하여 장애물의 운동 정보인 trajectory, Course Over Ground (COG), 그리고 Speed Over Ground (SOG)를 추정하였다. 또한 USV가 전략적인 목적으로 운용되어 상호 간의 통신 및 협력이 가능할 경우를 가정하여 추적 정보의 정확도를 높이기 위해 서로 다른 카메라에서 추적된 정보 간의 센서 융합 (sensor fusion)을 수행하였다. 여러 대의 카메라 각각에서 추적된 정보를 서로 융합하여 추적 정확도를 개선하거나 개별 카메라의 추적 과정에서 발생하는 단점을 서로 상쇄하는 등 보다 정확한 추적 정보를 얻을 수 있음을 확인하였다.