Event and Frame Based Feature Tracking for Lunar Landing Navigation

Abstract

This paper proposes a 2-step feature tracking method (2-step EKLT) using intensity measurements (frames) and a stream of events in lunar landing navigation. Light conditions and motion blur are critical factors for optical navigation in lunar landing. The properties of event cameras, robust to high dynamic range and high dynamic motion scenarios, will give freedom in designing lunar landing scenarios. Built upon the recent seminal work on the event and frame based feature tracker (EKLT), we propose a 2-step strategy to eliminate drift and outliers in feature tracking. The translation of features is updated repeatedly with a stream of events. Then, features are refined using homography after a certain distance. Furthermore, we generate photo-realistic lunar landing frames and events based on an open-source event simulator and verify the feature tracking performance of 2-step EKLT. As a result, the localization performance using 2-step EKLT is improved compared to EKLT.

본 논문에서는 달 착륙 항법에서 빛의 밝기 (프레임)와 이벤트 스트림을 측정치로 이용하는 2 단계 특징점 추적 방법 (2-step EKLT)을 제안한다. 광원 조건과 모션 블러는 달 착륙시 이미지를 이용한 항법의 성능을 결정하는 요소이다. 만약 고속의 동적 상황과 하이 다이나믹 레인지 상황에 강건하다는 이벤트 카메라의 특성을 이용한다면, 달 착륙 시나리오 설계에 더 높은 자유도를 부여 할 것이다. 2-step EKLT는 최근 중요한 연구 결과 중 하나인 이벤트 및 프레임 기반 특징점 추적기 (EKLT)에 와핑 파라미터를 2 단계에 걸쳐 계산하는 전략을 적용한 알고리즘이다. 제안한 알고리즘은 특징점의 드리프트 및 이상치를 제거할 수 있다. 일차적으로 특징점의 위치가 이벤트 스트림과 함께 반복적으로 업데이트 한다. 그리고 특징점들이 일정 거리 이상을 움직이면 호모그래피를 사용하여 특징의 위치와 모양을 보정한다. 실험에서는 오픈 소스 이벤트 시뮬레이터를 기반으로 사실적인 달 착륙 프레임 및 이벤트를 생성하였고, 2-step EKLT의 특징점 추적 성능을 검증했다. 결과적으로 2-step EKLT를 이용했을 때 항법 성능이 EKLT에 비해 향상 되었다.