Image-based object detection and tracking method for the awareness around the ship

Abstract

For the safe operation of autonomous ships, a system that automatically detects the ship's surroundings is required. AIS (Automatic Identification System), RADAR (RAdio Detection And Ranging), and LIDAR (LIght Detection And Ranging) are typical equipment for detecting the ship's surroundings. However, those sensors have limits. AIS cannot detect a ship without AIS equipment. RADAR has a slow update rate, and a blind zone is created depending on the installation location. LIDAR has a short detection range. Therefore, it is necessary to use a camera to supplement existing equipment. In this study, an image-based object recognition technology was developed. Object recognition technology was divided into three categories: detection, localization, and tracking. Detection is a technique that determines the existence and location of objects on the image. Recently, with the rapid development of deep learning, especially Convolutional Neural Network (CNN), deep learning-based object detection technology made remarkable progress. To use the detection model based on deep learning, training data is required. This study compared the open-source data set Singapore Maritime Dataset (SMD) and virtual image data set (Unity Dataset). Localization is a technique that converts the detected bounding box on the image into spatial coordinates through a camera model. Horizontal line information on the image is required. In this study, a gyro sensor was used to detect the horizontal line. Finally, tracking is the task of estimating the position and speed of objects over time. To set the Kalman filter's initial value, the target ship's headings were identified as left/right using deep learning and set as the initial value. The results of tracking target ships were compared with the AIS data to evaluate the tracking accuracy.

무인선, 자율운항선박의 안전한 운항을 위해서는 선박 주변을 자동으로 인지하는 기술이 필요하다. 선박 주변을 인지하기 위한 장비로 AIS (Automatic Identification System), RADAR (RAdio Detection And Ranging), LIDAR (LIght Detection And Ranging)와 같은 장비들이 있다. 그러나 이러한 기존 장비들의 경우 AIS는 AIS 기기가 없는 선박을 인지할 수 없으며, RADAR는 업데이트 주기가 느리고, 설치 위치에 따라 음영 구역이 생기며, LIDAR는 탐지 거리가 짧다는 문제점이 있다. 따라서 기존 장비들을 보완하기 위해서 카메라를 활용할 필요가 있다. 본 연구에서는 카메라의 영상 기반 장애물 인지 기술을 개발하였다. 본 연구에서는 장애물 인지 기술을 탐지 (detection), 위치 예측 (localization), 추적 (tracking) 3가지로 나누어 진행하였다. 첫번째로 탐지는 이미지 상에서 s장애물의 존재와 위치를 파악하는 것으로 최근 급격하게 발전한 Convolutional Neural Network (CNN)을 기반으로 한 모델을 사용한다. 딥 러닝 기반 탐지 모델을 활용하기 위해서는 학습용 데이터가 필요하다. 본 연구에서는 공개된 데이터 셋인 Singapore Maritime Dataset (SMD)를 활용하여 학습시킨 것과 가상으로 만든 이미지 데이터 (Unity Dataset)을 활용하여 학습시킨 것을 비교하였다. 두번째로 위치 예측은 이미지 상에서 탐지된 결과를 카메라 모델을 통하여 공간 상의 좌표로 변환하는 과정이다. 이때 이미지 상의 수평선 정보가 필요하다. 본 연구에서는 수평선을 탐지하기 위해 자이로 센서를 활용하였다. 마지막으로 추적은 시간에 따른 장애물의 위치와 속도를 파악하는 작업이다. 확장 칼만 필터를 활용하였으며, 칼만 필터의 초기값 설정을 위해 이미지 상에서 타선의 헤딩을 딥 러닝을 활용하여 좌/우 수준으로 파악하고 초기값으로 설정하였다. 타선을 추적한 결과는 AIS 데이터와 비교하여 정확도를 평가하였다.