A Timing-Aware Sampling Algorithm for Dual-Mirror LiDAR Imaging

Abstract

In recent years, active sensor technologies such as light detection and ranging (LIDAR) have been intensively studied in theory and widely adopted in many applications, i.e., self-driving cars, robotics and sensing. Generally, the spatial resolution of a depth-acquisition device, such as a LiDAR sensor, is limited because of a slow acquisition speed. To accurately reconstruct a depth image from a limited spatial resolution, a two-stage sampling process has been widely used. However, two-stage sampling uses an irregular sampling pattern for the sampling operation, which requires a large amount of computation for reconstruction. A mathematical formulation of a LiDAR system demonstrates that the existing two-stage sampling does not satisfy its timing constraint for practical use. Therefore, designing a LiDAR system with an efficient sampling algorithm is a significant technological challenge.

Firstly, this thesis addresses the problem of adopting the state-of-art laser marking system of a dual-mirror deflection scanner when creating a high-definition LIDAR system. Galvanometer scanners are modeled and parameterized based on concepts of their controllers and the well-known raster scanning method. The scanning strategy is then modeled and analyzed considering the physical scanning movement and the minimum spanning tree. From this analysis, the link between the quality of the captured image of a field of view (FOV) and the scanning speed is revealed. Furthermore, sufficient conditions are derived to indicate that the acquired image fully covers the FOV and that the captured objects are well aligned under a specific frame rate. Finally, a sample LIDAR system is developed to illustrate the proposed concepts.

Secondly, to overcome the drawbacks of two-stage sampling, we propose a new sampling method that reduces the computational complexity and memory requirements by generating the optimal representatives of a sampling pattern in down-sample data. A sampling pattern is derived from a k-NN expanding operation from the downsampled representatives. The proposed algorithm is designed to preserve the object boundary by restricting the expansion-operation only to the object boundary or complex texture. In addition, the proposed algorithm runs in linear-time complexity and reduces the memory requirements using a down-sampling ratio. Experimental results with Middlebury datasets and Brown laser-range datasets are presented.

Thirdly, state-of-the-art adaptive methods such as two-step sampling are highly effective while addressing indoor, less complex scenes at a moderately low sampling rate. However, their performance is relatively low in complex on-road environments, particularly when the sampling rate of the measuring equipment is low. To address this problem, this thesis proposes a region-of-interest-(ROI)-based sampling algorithm in on-road environments for autonomous driving. With the aid of fast and accurate road and object detection algorithms, particularly those based on convolutional neural networks (CNNs), the proposed sampling algorithm utilizes the semantic information and effectively distributes samples in road, object, and background areas. Experimental results with KITTI datasets are presented.

최근 LIDAR (light detection and ranging)와 같은 능동적 센서 기술은 이론적으로도 집중적으로 연구되었고, 자율주행차, 로봇, 센싱 등 다양한 응용 분야에 널리 사용되고 있다. 일반적으로 LiDAR 센서와 같은 심도측정장치는 느린 속도 때문에 공간적 해상도가 제한된다. 제한된 공간적 해상도로부터 심도 이미지를 정확하게 재구성하기 위해서 2단계 샘플링 방법이 널리 사용되고 있다. 그러나 2단계 샘플링은 불규칙적인 샘플링 패턴으로 샘플링을 하기 때문에, 재구성 과정에 많은 양의 연산이 필요하다. LiDAR 시스템을 수학적인 모델을 사용하여 분석하였을 때, 기존의 2단계 샘플링은 실용적으로 사용되기 위한 타이밍 제약 조건을 만족하지 못함을 확인하였다. 따라서 효율적인 샘플링 알고리즘을 사용하는 LiDAR 시스템을 설계하는 것은 중요한 기술적 과제이다.

첫째, 본 논문은 최신의 레이저 마킹 시스템을 dual-mirror 스캐너에 적용하여 고해상도 LiDAR 시스템을 만드는 문제를 다룬다. Galvanometer 스캐너 컨트롤러와 잘 알려진 래스터 스캔 방법에 기초하여 Galvanometer 스캐너를 모델링, 매개변수화한다. 그리고 물리적인 스캐닝 움직임과 최소 신장 트리를 고려하여 스캐닝 방법을 모델링하고 분석한다. 분석으로부터 원하는 FOV (field of view)로 캡쳐된 이미지의 품질과 스캐닝 속도 사이의 관계를 밝혔다. 또한 획득된 이미지가 FOV를 완전히 표현하며, 캡쳐된 object들이 특정 프레임 레이트에서 잘 정렬됨을 나타내는 충분조건을 유도하였다. 마지막으로 제안된 개념을 확인하기 위해 샘플 LIDAR 시스템을 개발하였다.

둘째, 2단계 샘플링의 단점을 극복하기 위해, 다운 샘플 데이터에서 샘플링 패턴의 최적 표현을 생성함으로써 연산 복잡도와 메모리 요구량을 줄일 수 있는 새로운 샘플링 방법을 제안한다. 샘플링 패턴은 다운 샘플된 표현의 k-NN 확장 연산으로부터 도출된다. 제안된 방법은 물체 경계 또는 복잡한 텍스처에 한해서 확장연산을 수행함으로써 물체 경계를 보존하도록 설계되었다. 또한 제안하는 방법은 선형적인 시간 복잡도로 동작하며 다운 샘플링 비율을 이용하여 메모리 요구량을 줄인다. Middlebury 데이터셋과 Brown laser-range 데이터셋을 사용한 실험 결과가 제시된다.

셋째, 2단계 샘플링과 같은 최신의 적응적 방법들은 비교적 낮은 샘플링 레이트로 실내의 복잡하지 않은 장면들을 처리하는 데 매우 효과적이다. 그러나 복잡한 도로 환경에서는, 특히 측정 장비의 샘플링 레이트가 낮은 경우에, 해당 방법들의 성능이 상대적으로 떨어진다. 이 문제를 해결하기 위해 본 논문은 자율주행을 위한 도로 환경에서의 ROI (region-of-interest) 기반 샘플링 알고리즘을 제안한다. 제안된 샘플링 알고리즘은 CNN (convolutional neural network) 기반의 빠르고 정확한 도로 및 물체 감지 알고리즘을 사용하여, semantic 정보를 활용하고 도로, 물체, 배경 영역에 샘플들을 효과적으로 분배한다. KITTI 데이터셋을 사용한 실험 결과가 제시된다.