LiDAR Point-wise Segmentation based De-noising and Detectible-range Estimation for Autonomous driving Perception system in Adverse weather

Abstract

Recently, Numerous studies have been conducted on the perception part of automated vehicle research. The LiDAR (Light Detection And Ranging) sensor is a fundamental sensor for Automated vehicles and has been used in many prior studies. LiDAR sensors prove to be advantageous in providing sufficient and precise distance data, complementing cameras, radars, and ultrasonic sensors. They have been widely used in fields such as autonomous driving. However, adverse weather conditions such as rain, fog, or snow have been shown to affect LiDAR data significantly. Many studies have been conducted only for perception algorithms using LiDAR. However, studies on the degradation of LiDAR in adverse weather conditions are still considered to be lacking. In such conditions, particulates in the air such as rain, snow, and fog droplets have been shown to reflect the lasers emitted by the LiDAR sensor, resulting in these particulates being misinterpreted as objects. When such noisy data is given to a perception algorithm, performance degradation of the algorithm occurs. Therefore, this dissertation focused on developing a point-wise de-noising algorithm based on semantic segmentation. In this proposed de-noising deep neural network, feature aggregation is performed to minimize any information loss and misclassification errors while progressively increasing the receptive field. In front of the de-noising module, a module uses LiDAR Point Cloud Data (PCD) to determine the weather condition and inform the current weather probabilistically to the de-noising module. Moreover, after the de-noising module, points classified as fog are then used by the latter module to quantify fog density through the Occupancy Grid Map (OGM) method. The maximum detection range at the current state is derived within and used as the output of the module, utilizing the correlation between the Maximum Detection Range and the OGM pixels probability. Adverse weather data especially fog driving data with LiDAR Point Cloud Data (PCD), is rare. For this dissertation, PCD data in real-life driving in heavy fog were acquired and used in the study. Some research teams obtained LiDAR PCD set from a CEREMAs climate chamber system. However, only data could be acquired in this controlled weather environment with the vehicle stopped. Therefore, in this study, not only has the proposed approach been experimented on and validated through a large dataset obtained in controlled weather environments, but also point cloud data directly obtained by our research team while driving in real-life dense fog scenarios. The suggested module successfully segments and filter out the adverse weather-affected point cloud data, providing safety guaranteed perception information for autonomous driving.

최근에는 자율주행 차량 연구의 인지 부분에 관해 많은 연구가 진행되었다. LiDAR(Light Detection And Ranging) 센서는 자율주행 차량의 기본 센서로, 많은 선행 연구에서 사용되었다. LiDAR 센서는 카메라, 레이더, 초음파 센서들의 단점을 보완해 정밀한 거리 정보를 제공한다. 그리하여 자율주행 분야에서 많이 사용이 되어왔다. 그러나 비, 안개 또는 눈과 같은 악천후 날씨가 LiDAR 포인트 데이터에 많은 영향을 미친다는 것으로 나타났다. LiDAR를 사용한 물체 인식 알고리즘에 관해서만 많은 연구가 수행되었지만, 악천후 조건에서 LiDAR의 인지 성능 저하 혹은 악천후 상황에서의 잡음제거에 관한 연구는 여전히 부족한 것으로 간주된다. 악천후 조건에서, 비, 눈, 안개 방울과 같은 공기 중의 미립자는 LiDAR 센서가 방출하는 레이저를 반사하는 것으로 나타났으며, 이는 이러한 미립자를 물체로 잘못 해석하는 결과를 초래했다. 이러한 잡음이 있는 데이터가 인지 알고리즘에 주어지면 알고리즘의 성능 저하가 발생한다. 따라서 본 논문은 객체 검출 기반으로 포인트별 잡음 제거 알고리즘을 개발하는 데 초점을 맞췄다. 제안된 잡음제거 딥 뉴럴 네트워크에서는 수신 필드를 점진적으로 증가시키면서 정보 손실 및 오분류 오류를 최소화하기 위해 특징 집합이 수행됩니다. 잡음 제거 모듈 앞쪽에서 작동하는 모듈은 LiDAR 포인트 클라우드 데이터(PCD)를 사용하여 날씨 상황을 판단하고 잡음제거 모듈에 현재 날씨를 확률적 정보를 전송한다. 또한 잡음 제거 모듈 뒷단의 모듈은 안개로 분류된 점을 사용하여 현재 상태에서의 안개 밀도를 점유 격자 맵 방법으로 도출하여 최대 인지 거리를 도출한다. 그리고 최대 인지 거리를 판단/제어 알고리즘 모듈로 전송한다. 악천후 데이터 중 특히 심한 안개 중 주행한 LiDAR의 포인트 클라우드 데이터(Point Cloud Data)는 취득하기가 매우 힘들며 구하기가 힘들다. 해당 연구를 위해 심한 안개 속 포인트 데이터를 취득하였고 연구에 활용하였다. 일부 연구팀은 CEREMA의 기후 챔버 시스템으로부터 라이다 포인트를 얻었다. 그러나 차량이 정지한 상태에서 통제된 기상 환경에서의 데이터만 취득하였다. 따라서 본 연구에서는 제안된 모듈을 통제된 기상 환경에서 얻은 대규모 데이터 세트를 통해 실험하고 검증했을 뿐만 아니라 실제 직접 취득한 짙은 안개 속 주행 포인트 데이터로도 검증했다. 제안된 잡음 제거 및 감지 범위 도출 모듈은 악천후 영향을 받는 데이터를 성공적으로 잡음 분할 및 필터링 하였다. 제안된 잡음 제거 및 감지 범위 도출 모듈의 효과는 실제 주행 데이터를 통해 평가된다.