Robust Edge-Point Visual Odometry and Monocular Scale Observer using Vehicle Kinematics

Abstract

Navigation is an essential functionality for the autonomy of robots, such as autonomous vehicles and drones. In particular, image-based navigation, visual odometry (VO), only uses small cameras to perform navigation and is an attractive alternative to indoor environments where external navigation, such as GPS, is unavailable. This dissertation proposes a robust VO that can operate reliably in low-textured and brightness-changing conditions frequently encountered in indoor environments. As a practical application for indoor VO, the indoor vehicle driving condition is considered, and a scale-aware monocular VO (MVO) method utilizing vehicle kinematics is proposed. First, this research proposes edge and point-based VO systems robust to low-textured and brightness-varying conditions. To characterize edges, they are classified into eight orientation groups according to their image gradient directions. Using the edge groups, eight quadtrees are constructed, and overlapping areas are set belonging to adjacent quadtrees for robust and efficient matching. For further acceleration, previously visited tree nodes are stored and reused at the next iteration to warm-start. An edge culling method is proposed to extract prominent edgelets and prune redundant edges. The camera motion is estimated by minimizing point-to-edge distances within a re-weighted iterative closest points (ICP) framework, and simultaneously, 3-D structures are recovered by static and temporal stereo settings. To improve the accuracy of the edge-based VO, a hybrid VO is proposed by combining the conventional point features. In this extension, brightness changes between image frames are incorporated into the photometric error minimization problem. To analyze the effects of the proposed modules, extensive simulations are conducted in various settings. Quantitative results on public datasets confirm that the proposed approach has competitive performance with state-of-the-art stereo methods. In addition, the author demonstrates the practical values of the proposed system in author-collected modern building scenes with curved edges only. Next, a scale-aware MVO using vehicle kinematics is addressed. To describe the motion of the camera attached to the vehicle, the unknown camera-vehicle relative pose is estimated by only using the monocular VO motions. An observer is designed to estimate the absolute scale of the MVO motions on turn regions, and turn regions are detected to stably observe scale. Using the observed scale, an absolute scale recovery is proposed to estimate the unknown scale between turn regions. By extensive simulations for each proposed module, appropriate conditions for stable scale estimation are investigated, and the effectiveness of the extrinsic calibration and the absolute scale recovery is statistically verified by Monte-Carlo simulations. To evaluate the overall performance, the proposed method and state-of-the-art VO methods are compared in public outdoor driving datasets. In addition, to show promising applicability, real-world driving datasets are collected in multi-floor underground parking lots and demonstrate the accurate absolute scale recovery performance of the proposed method in indoor driving situations.

항법 정보는 자율 자동차, 드론 등 자율 로봇의 위치를 알기위한 필수적인 요소이다. 특히, 소형의 카메라만을 이용해 항법을 수행하는 영상 기반 항법은 GPS 등 외부 항법정보를 이용할 수 없는 실내 환경에서의 대안으로 각광받고 있다. 본 논문은 실내 환경에서 마주 할 수 있는 무늬 부족 환경 및 밝기 변화 환경에서도 안정적으로 동작 할 수 있는 강인한 영상 항법을 제안한다. 그리고 실내 영상 항법의 실용적인 활용처로써, 차량에서 볼 수 있는 최소한의 센서 세팅인 단안 카메라만을 이용한 실내 주행 항법 상황을 고려하였다. 단안 항법의 스케일 모호성 문제를 해결하기위해 차량의 기구학을 이용한 절대 스케일 복원 방법을 제안하였고, 차량 관점의 항법이 가능하도록 카메라-차량 간 외부 자세 보정법을 제안한다. 첫 번째로 무늬 부족 및 밝기 변화 환경에서도 구동 가능한 이미지 모서리와 점 특징 기반의 강인한 영상 항법을 제안한다. 이미지 모서리를 이미지 기울기 방향에 따라 분류하여 다중 쿼드트리 구조로 효과적으로 매칭하였으며, 모서리와 점 특징의 재사영 오차, 광도 오차를 최소화하며 이미지 간 밝기 변화를 동시에 보상하는 하이브리드 영상 항법을 구현하였다. 다양한 시뮬레이션 분석을 통해 제안한 각 모듈의 성능을 평가하였으며, 무늬가 적은 데이터 셋에 예측 불가능한 빛 변화를 인가한 뒤, 최신 성능 알고리즘과의 비교를 통해 전체적인 항법 성능을 검증하였다. 또한, 일부 곡선 요소 외에는 두드러진 무늬가 없는 실제 실내 사무실 및 복도 환경에 대한 데이터셋을 취득하였고, 제안하는 영상 항법이 실제 환경에서도 안정적으로 동작 할 수 있음을 검증하였다. 다음으로, 차량 기구학을 제약된 카메라 움직임을 이용하여 단안 항법 스케일을 인식하는 방법을 다룬다. 우선, 차량에 부착된 카메라의 움직임을 기술하기 위해 카메라-차량 간 외부 자세를 추정하는 방법을 제안한다. 회전 영역에서 단안 항법의 절대 스케일을 관측하는 스케일 관측기를 설계하고, 스케일을 안정적으로 관측하기 위해 회전 영역을 감지하는 방법을 제안한다. 그리고 관측된 스케일을 사용하여, 회전 영역 사이의 관측되지 않은 전체 스케일을 추정하는 절대 스케일 복구 방법을 제안한다. 성능 검증을 위해서, 몬테카를로 시뮬레이션을 수행하여 각 모듈의 성능을 통계적으로 평가하였고, 공개된 차량 주행 데이터셋을 이용해 제안하는 방법론과 최신 성능 알고리즘과의 성능 비교 평가를 수행하였다. 추가로, 실내 차량 주행환경에 대해 제안하는 방법론의 유망한 적용 가능성을 보여주기 위해, 두 개의 다층 지하 주차장에서 실제 차량 주행 영상 데이터를 수집하였고, 해당 데이터에 대한 시연을 통해 실제 상황에서의 정확한 절대 스케일 복원 성능을 검증하였다.