자율주행 트랙터를 위한 영상 센서 퓨전 기반 장애물 인식 및 충돌 방지 기술 개발

Abstract

Collision avoidance systems are essential for unmanned autonomous agricultural tractors. The autonomous tractor should detect obstacles on the path and respond appropriately to the relative location of the obstacles to avoid collisions. Although obstacle detection and classification algorithms based on the use of various cameras have been being developed, the accurate measurement of distances to various objects in real-time is limited due to a difficulty in discriminating the objects under the varying illumination conditions. Since a LiDAR can determine the relative location of obstacles over a wide detection range, it is possible to compensate for the shortcomings of the monocular camera by using 3D information from LiDAR. The purpose of this study is to develop a collision avoidance technique for autonomous tractors. An obstacle detection algorithm was designed based on sensor fusion of a camera and a LiDAR sensor. In principle, the camera performs obstacle detection based on YOLO, and the LiDAR determines the relative distance to the obstacle detected by the camera through coordinate transformation. In field experiments, the proposed algorithm was applied to an autonomous tractor to verify the object detection and collision avoid performance. The autnomous tractor drove along the cultivation path, and stopped when the collision with an obstacle was predicted. The detection performance was over 97% and the success rate of collision avoidance was over 98%.

자율주행 농기계가 실용화되기 위해서는 농업 환경에서 신뢰할 수 있는 장애물 인식 시스템과 충돌을 방지하는 시스템이 필수적이지만, 카메라나 라이다, 레이더 등 단일 센서로는 다양한 환경에 대응하는 장애물의 인식에는 한계가 있다. 본 연구에서는 자율주행 트랙터에 필요한 장애물 자동 인식과 신속 대응이 가능하도록 영상 센서 융합기술을 이용하여 실시간으로 장애물을 인식하고 실제 상황에서의 충돌 대응이 가능한 시스템을 개발하고자 하였다. 장애물 인식 대상은 안전의 최우선이 되는 인명 보호를 위해 사람으로 하여 트랙터의 진행 방향에 대하여 설계된 위험과 경고 영역 범위내에서 작동하도록 하였다. 개발한 센서 융합 시스템은 객체 분류에 강점을 가지는 Intel社의 D435i RGB 카메라와, 거리 측정에 강인한 Velodyne社의 VLP16 라이다 센서로 구성하였다. 각 센서의 데이터는 카메라-라이다 캘리브레이션과 보정을 통하여 두 센서의 공간정보를 일치시켰으며, 인식 알고리즘은 RGB 영상에서 YOLO에 기반하여 사람을 인식하고, 영상에 투영된 라이다 데이터를 이용해 트랙터로부터의 상대 거리를 측정하였다. 충돌 방지 시스템은 인식 시스템에서 구한 장애물의 상대거리를 기준으로 장애물이 위험 영억에 있다고 판단되면 제어기가 트랙터를 정지시켜, 장애물이 사라지면 트랙터는 다시 주행하도록 개발되었다. 개발된 장애물 인식과 충돌 방지 시스템은 야외 평평한 농지에서 정적인 상황과 동적인 상황에서 유효성을 검증하였다. 충돌 위험 구간에서의 인식률은 99% 이상, 거리 측정의 RMSE는 24cm, 충돌 방지 및 대응 성공률은 98% 이상으로 나타났다.