Image Gradient-based Monocular Visual-Inertial Odometry

Abstract

This thesis presents an image gradient-based monocular visual-inertial odometry (VIO) algorithm, robust to illumination change. An accurate ego-motion estimation of a vehicle is essential in robotics and autonomous driving. As a countermeasure for a global navigation satellite system denied environment, the ego-motion estimation algorithm using camera and inertial measurement unit sensors, so-called VIO, has been researched in the last few decades. To encounter motion-blurred and featureless conditions, the researches on VIO algorithms have extended from indirect to direct methods through direct utilization of image intensities instead of image feature projections as measurements. Regrettably, the photometric consistency assumption, the constraint applied to formulate the direct method, is violated in the environment where illumination changes. Therefore, the research on VIO algorithms robust to illumination change is essential. Motivated by visual odometry research on alternative measurements utilization, we propose a novel direct monocular VIO algorithm that utilizes the image gradients instead of image intensities. The proposed algorithm applies this approach to the multi-state constraint Kalman filter (MSCKF), a sliding windowed extended Kalman filter (EKF). It utilizes the image gradients on the same image plane pixels where features are reprojected in the indirect MSCKF-based VIO algorithm. The robustness comparison of image gradients and image intensities is performed on a simulation dataset with Monte-Carlo simulation and verifies that the image gradients are more robust to the illumination change. To encounter a strong non-linearity of image gradients, we propose an extension of MSCKF to iterated EKF fused with a low-pass pyramid. The performance comparison of the filter extension is performed on a real-world dataset and verifies that the filter extension enhances the performance of the image gradient-based monocular VIO algorithm. The performance of the proposed algorithm is analyzed by comparing it with the performance of image reprojection-based and image intensity-based monocular VIO algorithms on the real-world dataset. The simulation results prove that our proposed algorithm outperforms other algorithms in the environment where illumination changes.

본 논문은 밝기 변화 환경에 강건한 단안 영상 그레이디언트를 이용한 영상 관성 오도메트리를 제안한다. 영상 관성 항법 연구는 모션 블러와 특징점이 부족한 환경에서의 성능을 개선하기 위하여 기존 특징점 기반에서 밝기 기반으로 확장되고 있다. 그러나 밝기 기반 영상 관성 항법은 밝기 일관성을 가정하기 때문에 밝기 변화 환경에서의 항법 성능이 감소한다. 이를 해결하기 위하여 밝기 변화에 민감한 영상 밝기 대신 강건한 영상 그레이디언트를 측정치로 활용하는 영상 관성 오도메트리를 제안한다. 제안한 방법은 슬라이딩 윈도우 형태의 확장 칼만 필터인 다중 상태 제약 칼만 필터를 기반으로 한다. 그레이디언트는 재투영 위치에 해당하는 값을 선정하여 측정치로 활용한다. 그레이디언트의 강한 비선형성으로 인하여 발생하는 항법 성능 저하를 최소화하기 위하여 다중 상태 제약 칼만 필터에 반복 확장 칼만 필터와 로우패스 피라미드를 융합하여 선형화 오차를 개선하였다. 시뮬레이션 데이터셋을 활용하여 밝기를 측정치로 활용하였을 때의 위치와 자세 추정 오차보다 그레이디언트를 측정치로 활용하였을 때의 위치와 자세 추정 오차가 더 작으며 밝기 변화 정도를 조절하였을 때, 그레이디언트 기반 기법의 성능은 밝기 기반 기법의 성능에 비하여 덜 영향을 받음을 검증하였다. 이를 통하여 밝기 변화에 대한 그레이디언트의 강건성을 검증하였다. 실데이터셋을 활용하여 그레이디언트 기반 기법을 기존 다중 상태 제약 칼만 필터를 활용하였을 때와 반복 확장 칼만 필터와 로우패스 피라미드를 융합하였을 때의 성능을 비교하여 필터 변화에 따른 선형화 오차 개선을 통한 성능 향상을 검증하였다. 마지막으로 제안한 기법을 특징점 기반 및 영상 기반 기법과 성능을 비교하여 밝기 변화 환경에서 제안한 기법의 향상을 확인하였다.