Rotational motion estimation with contrast maximization using an event camera only

Abstract

생체 모방형 카메라인 이벤트 카메라는 빛의 밝기 변화를 측정하여 위치, 시간 그리고 극 정보를 저장 하는 새로운 개념의 카메라이다. 기준 시간동안 빛의 밝기를 측정하는 일반 카메라와 다른 방식으로 동작하여 높은 동적 범위 (HDR) 를 가지며, 동작으로 인한 흐림 흐림 (motion blur)이 없고, 마이크로 초 단위의 대기 시간을 가진다는 장점이 있다. 그러나 비동기 이벤트 정보는 기존의 영상 처리 기법을 적용 할 수 없어 새로운 연구가 필요하다. 이러한 영상 센서의 장점을 활용하기 위해 이벤트 카메라를 활용한 특징점 추출, 깊이 값, 광 흐름 (Optical Flow) 추정 연구가 앞서 수행되었으며, 최근에는 영상 강도 (Image Intensity) 복원 연구를 비롯하여 공간상의 카메라 움직임을 추정하는 영상 항법을 중심으로 연구되고 있다. 그러나 비동기적 이벤트 정보만 활용하여 영상 항법을 수행하는데 어려움이 있어 대다수의 연구는 일반 카메라, 관성 센서 (IMU)와 같은 외부 센서를 사용하였다. 외부 센서를 통합하는 방법은 적은 성능 향상에 많은 비용(계산 처리량, 중량, 금전적 비용 등)을 요구할 수 있다. 따라서, 본 논문에서는 이벤트 카메라의 장점을 최대한 활용하기 위해 다른 센서와 통합하지 않은 순수한 이벤트 카메라 정보만 사용하여 각운동을 추정하는 알고리즘을 제안한다. 이벤트 카메라로는 일정 시간 동안 들어온 이벤트 점들을 누적시켜 이미지를 얻을 수 있는데, 주로 영상의 밝기 변화는 조도 변화보다 움직임에 의해 발생하기 때문에 영상 내의 밝기가 변화하는 모서리에서 주로 이벤트 점을 얻을 수 있다. 따라서 이벤트 점들을 모서리에 정렬시키게 되면 유의미한 정보를 얻을 수 있다. 본 논문에서는 이미지의 대비가 최대로 되는 각속도를 찾는 기존의 연구를 확장하여 정확한 각운동 을 추정하는 알고리즘을 제안한다. 이미지의 대비를 최대화 하는 각속도로 와핑 (warping)된 이벤트 점을 활용하여 구형 지도를 작성하였고, 와핑된 이벤트 점들로 얻어진 이미지와 구형 지도를 2차원으 로 투영시킨 이미지의 대비를 다시 최대화 하여 각운동을 추정하였다. 구면 평면화 지도 (Spherical Mosaicing Map) 대신 3차원 공간상의 구형 지도를 사용하고, 리 대수 (Lie algebra)를 활용하여 짐벌 락 문제 없이 모든 방향의 각도를 추정할 수 있는 알고리즘을 제안한다.

Event cameras, bio-inspired vision sensors, are new concept cameras that store the position, time, and pole information by measuring the brightness change of light. Event cameras have a high dynamic range (HDR), no motion blur, and have a microsecond latency by operating in a different way from conventional cameras. However, asynchronous event information cannot be applied to existing image processing methods and new research is needed. In order to utilize the advantages of the vision sensor, feature point extraction, depth value, and optical flow estimation studies for event camera have been performed. In recent years, this study focuses on the intensity image reconstruction, and simultaneous localization and mapping (SLAM) system. Because, it is difficult to perform visual navigation using only asynchronous event information, many studies have used external sensors such as conventional cameras and an inertial sensor unit (IMU). The method would cost a lot to improve performance. (e.g. computational load, platform weight, expense) In this paper, we suggest an algorithm that estimates angular motion using only event information in order to maximize the advantage of event camera. We can get images by accumulating the event points for a certain period of time. We can obtain the event points at the edge, since the brightness change mainly occurs due to the motion rather than the illumination change of environments . Therefore, we can get meaningful information by aligning event points on edges. We propose an algorithm that estimates the angular motion accurately by extending the existing research to find the angular velocity that maximizes the contrast of the image. We create a spherical map using warped event points with an estimated angular velocity, and maximize the contrast between warped event image and spherical map projected onto 2D image. We also apply the Lie algebra on angle variables and utilize the spherical map instead of the spherical mosaic map, in order to estimate the omni-directional angle without gimbal lock problem.