Fusion of Image and Point-cloud Data for Autonomous Driving in Diverse Environments

Abstract

Autonomous driving is one of the main topics of robotics research and is becoming part of our lives as they are used in automobiles, indoor robots, military robots, and drones. Perception, which is the starting point of driving intelligence, is a process of generating the knowledge necessary for driving by interpreting data collected from sensors. The data collected by the sensors varies depending on the robot platform, terrain, and light or weather conditions. For autonomous driving, perception must stably generate accurate knowledge by receiving data that changes according to these various conditions. However, many existing studies have focused on benchmark competition to achieve the best performance under limited conditions. We break away from these laboratory-only studies and focus on the real world to develop robust algorithms that can operate in various conditions.

Sensors widely used in autonomous driving include cameras that collect images and LiDARs that collect point clouds. Images contain high-resolution color information and are sensitive to changes in illumination (e.g., sunlight and weather). Point clouds are robust to changes in illumination and provide distance information of 3D space but are of low resolution. The image and point cloud have complementary characteristics. Therefore, the fusion of two data can produce enhanced information that compensates for the shortcomings of each data.

We propose a fusion framework of images and point clouds for autonomous driving in diverse environments. The first step of the fusion framework is a one-to-one match of the two data. This is called image-to-point cloud registration and aims to align a 2D image with a 3D point cloud. The proposed algorithm is designed for robust operation under various terrain conditions. Therefore, it was demonstrated in automobiles on paved roads and UGVs on off-road driving.

The second step is to generate enhanced data using the two matched data. This is called depth completion, which generates a depth image with high-resolution depth information using an image with high-resolution color information and a point cloud with low-resolution depth information. The proposed algorithm is designed to work reliably in various light and weather conditions, from sunrise to sunset, fog and rain, and camera corruption.

The last step is to estimate the traversability from the observed image and point cloud. This is called traversability estimation, and traversability is predicted by learning the robot's driving style. The proposed algorithm is designed to estimate different traversabilities with respect to the driving style of the robot platform, from large ATVs to small UGVs.

In this dissertation, we present an image and point cloud fusion framework that can operate in diverse real-world conditions. We evaluate the proposed algorithm through experiments on various platforms (automobile, large and small UGV), terrain (paved road, open fields, mountain), and light and weather conditions (morning, sunset, rain, fog). The proposed framework serves as a buffer to ensure the stability of further applications by receiving data that fluctuates depending on diverse conditions and generating stable and enhanced knowledge. Therefore, we expect this framework to be a foundation for robust autonomous driving.

자율 주행은 로봇 연구의 주요 화두 중 하나로 자동차, 실내로봇, 군용로봇, 드론 등 다양한 플랫폼에 사용되어 우리 삶의 일부가 되고 있다. 그 중 주행 지능의 출발점인 인식은 센서에서 수집한 데이터를 해석해 주행에 필요한 지식을 생성하는 과정이다. 센서가 수집하는 데이터는 로봇 플랫폼, 지형, 빛이나 날씨 조건에 따라 달라진다. 자율 주행을 위한 인식 기술은 이와 같은 다양한 조건에 따라 변동하는 데이터를 입력받아 안정적으로 정확한 지식을 생성할 수 있어야 한다. 그러나 기존의 연구는 대부분 제한된 조건에서 최고의 성능을 달성하기 위한 벤치마크 경쟁에 초점을 맞추었다. 우리는 이러한 실험실 전용 연구에서 벗어나 실제 세계로 뛰어들어 다양한 조건에서 작동할 수 있는 강력한 알고리즘을 개발하고자 한다.

자율 주행에 널리 사용되는 센서로는 이미지를 수집하는 카메라와 포인트 클라우드를 수집하는 라이다(LiDAR) 가 있다. 이미지는 고해상도의 색상 정보를 포함하고 있으며 조도 변화(햇빛, 날씨 등) 에 민감하다. 포인트 클라우드는 조도 변화에 강하고 3차원 공간의 거리 정보를 제공하지만 낮은 해상도를 가진다. 이렇듯, 이미지와 포인트 클라우드는 보완적인 특성을 가지고 있으므로 우리는 두 데이터의 융합을 통해 각 데이터의 단점을 보완하는 보강된 정보를 생성할 수 있다.

우리는 다양한 환경에서의 자율 주행을 위한 이미지와 포인트 클라우드의 융합 프레임워크를 제안한다. 융합 프레임워크의 첫 번째 단계는 두 데이터의 일대일 일치이다. 이를 이미지-투-포인트 클라우드 레지스트레이션 (Image-to-point cloud registration) 이라고 하며 이 단계의 목표는 2D 이미지를 3D 포인트 클라우드와 정렬하는 것이다. 제안하는 알고리즘은 다양한 지형 조건에서 강건하게 동작하도록 설계되었으며, 포장 도로를 주행하는 자동차와 오프로드를 주행하는 UGV에서 그 성능이 검증되었다.

두 번째 단계는 정렬된 이미지와 포인트 클라우드를 바탕으로 하는 보강된 데이터의 생성이다. 이를 뎁스 컴플리션 (Depth completion) 이라고 하며, 이 단계의 목표는 고해상도의 색상 정보를 가진 이미지와 저해상도의 거리 정보를 가진 포인트 클라우드를 이용하여 고해상도의 거리 정보를 가진 뎁스 이미지를 생성하는 것이다. 제안하는 알고리즘은 아침부터 밤, 안개와 비, 카메라 손상 등 다양한 빛과 날씨 조건에서 안정적으로 작동하도록 설계되었다.

마지막 단계는 관찰된 이미지와 포인트 클라우드를 바탕으로 하는 주행 가능성의 추정이다. 이를 주행 가능성 추정 (Traversability estimation) 이라고 하며, 로봇의 주행 스타일을 학습하여 횡단성을 예측한다. 제안하는 알고리즘은 대형 ATV에서 소형 UGV까지 다양한 로봇 플랫폼의 주행 스타일을 반영한 주행 가능성을 추정할 수 있도록 설계되었다.

본 논문에서, 우리는 다양한 실제 세계의 조건에서 동작할 수 있는 이미지와 포인트 클라우드의 융합 프레임워크를 제시한다. 우리는 제안하는 알고리즘을 다양한 플랫폼 조건 (자동차, 대형 및 소형 UGV), 다양한 지형 조건(포장 도로, 들판, 산), 다양한 빛과 날씨 조건(아침, 해질녘, 비, 안개) 에서의 실험을 통해 검증했다. 제안하는 프레임워크는 다양한 조건에 따라 변동하는 데이터를 입력받고 안정적이고 보강된 지식을 생성하여 후속 응용 프로그램의 안정성을 보장하는 완충 역할을 수행할 수 있다. 따라서 우리는 이 프레임워크가 강력한 자율주행을 위한 초석이 되리라 기대한다.