Robust Event-based Angular Velocity Estimation in Dynamic Environments

Abstract

본 논문은 움직이는 물체가 존재하는 동적 환경에서 카메라 자신의 각속도를 강인하게 추정하는 문제를 다룬다. 이를 위해 기존 카메라의 한계점을 보완하는 새로운 패러다임을 제시한 이벤트 카메라를 활용한다. 기존 컴퓨터 영상 처리에서 자주 활용되는 RGB-D 및 단안 카메라는 이미지 및 깊이맵을 프레임의 형태로 출력한다. 이러한 종류의 센서들은 적절한 광량 조건에서 빛을 모으기 위해 일정량의 노출 시간이 필요한데, 이 시간 동안에는 데이터가 출력되지 않아 지연 시간이 발생하며, 출력된 프레임에서는 모션 블러가 발생할 수 있다. 또한 정지된 화면의 밝기값을 계속 출력하는 등 불필요한 데이터가 많아서, 비트 깊이를 늘리거나 지연 시간을 줄이기 위해 초당 프레임수를 늘릴 경우, 이에 비례하여 처리해야할 데이터의 양이 증가한다. 또한, 고조도 및 저조도에서의 노출 과다, 노출 부족 현상도 기존 카메라의 활용 영역을 제한할 수 있다. 이와 달리, 이벤트 카메라는 각 픽셀이 독립적으로 빛의 로그 밝기값의 변화를 감지하며, 일정 비율만큼 밝아지거나 어두워지는 경우 해당 픽셀에서 이벤트를 발생시킨다. 이러한 특징 덕분에, 이벤트 카메라는 낮은 지연속도와 높은 시간 해상도로 데이터를 출력한다. 또한 60dB 정도의 다이내믹 레인지를 갖는 카메라보다 2배 가량 높은 130dB의 높은 다이내믹 레인지를 가져 활용 범위가 더욱 넓다. 따라서 본 논문에서는 동적 환경에서의 활용 가치가 높은 이벤트 카메라를 사용하여, 움직이는 물체가 존재하는 동적 환경에서 물체를 검출하고 카메라 자신의 움직임을 강인하게 추정하고자 한다.

본 논문의 첫번째 항목은 다양한 장면에 강인하면서 낮은 지연 속도로 광학 흐름을 추정하는 연구를 다룬다. 기존 카메라와 다른 이벤트 카메라의 동작 원리로 인해, 다수의 알고리즘은 기존 카메라의 프레임과 같은 가상의 이벤트 프레임을 생성하고, 이를 이용해 기존 알고리즘의 프레임워크를 답습한다. 그러나 가상의 이벤트 프레임을 생성하기 위한 파라미터의 값은 장면의 특성에 따라 크게 좌우되며, 이러한 방식은 이벤트 카메라의 특성 중 하나인 낮은 지연 속도를 증가시킨다. 따라서 본 항목은 광학 흐름을 비동기식으로 추정하여 낮은 지연 속도와 높은 정확도를 달성하는 것을 목표로 하며, 이를 위해 기존 블럭 매칭 알고리즘의 성능을 향상시킨다. 제안한 알고리즘은 국소적으로 블럭 매칭을 수행함으로써 불균일한 텍스쳐 때문에 이벤트가 고르지 못하게 출력되는 상황에서도 정확한 광학 흐름을 추정할 수 있다. 광학 흐름 추정 알고리즘의 정확도와 지연 속도를 측정하기 위해, 대중적으로 많이 사용되는 데이터셋을 이용하였다. 정성적, 정량적 평가를 통해 제안한 알고리즘은 광학 흐름 추정의 정확도 측면에서 타 이벤트 프레임 기반 알고리즘과 비슷한 수준을 유지하면서, 지연 속도 측면에서는 높은 향상을 보여주었다. 또한 제안한 비동기식 광학 흐름을 이용한 각속도 추정 결과는 타 알고리즘 대비 높은 정확도를 보여주며, 특히 다양한 장면 환경에서 15ms 이하의 일관된 지연 속도로 강인하게 각속도를 추정한 것을 확인하였다.

두번째 항목은 모션 분할 기법을 이용하여 움직이는 물체가 존재하는 동적 환경에서 카메라 자신의 각속도를 강인하게 추정하는 연구를 수행하였다. 밝기 변화가 검출되는 픽셀에 대해서만 데이터를 출력하는 이벤트 카메라의 특성상, 작지만 빠른 물체가 출력 데이터의 대부분을 점유할 수 있다. 배경이 아닌 외부 요인에 의해 나타나는 이벤트는 카메라의 움직임 추정 성능을 저하시킬 수 있으므로, 첫번째 항목에서 제안한 비동기식 광학 흐름을 이용하여 모션 분할을 수행하고 정적 배경의 움직임을 추정하고자 한다. 이를 위해, 이중 모드 움직임 모델을 설계하고, 정적 배경과 이동 물체의 위치를 그리드 레벨에서 추정한다. 이중 모드 움직임 모델은 이동 물체의 갯수를 필요로 하지 않으며, 이동 물체가 화면 밖으로 사라지거나 다시 나타나는 상황에도 대응할 수 있다. 제안한 알고리즘은 분할된 정적 배경 영역에 속하는 비동기식 광학 흐름을 이용하여 높은 시간 해상도로 카메라의 각속도를 추정할 수 있으며, 성능 검증을 통해 다양한 실내 및 실외, 낮과 밤의 동적 환경에서 타 알고리즘 대비 강인하고 정확하게 카메라 자신의 움직임을 추정할 수 있음을 확인하였다.

This dissertation addresses the problem of estimating the angular velocity of the event camera with robustness to a dynamic environment where moving objects exist. These vision-based navigation problems have been mainly dealt with in frame-based cameras. The traditional frame-based cameras such as monocular or RGB-D image sensors capture the whole frame of absolute intensity and/or depth, thus making them easy to recognize temporary environments. However, even under the common illumination conditions, these sensors require a certain amount of time to collect light during which data is not output, thus latency occurs. Also, a video with a high dynamic range, e.g., a 14-bit raw image, is not usually used for computer vision due to its extremely high data bandwidth, and the general 8-bit image sequences easily lose their intensity data under overexposure or underexposure environments. Contrary to the conventional cameras that produce frames, events cameras operate asynchronously by imitating the human eye. Event cameras respond to the intensity changes in the temporal domain and generate an event that is triggered at the pixel whose intensity has changed. Due to the nature of the event cameras, they output data stream with low latency and high time resolution in us units. Besides, the event cameras only perceive relative intensity, they can have a higher dynamic range of more than 120 dB, whereas the standard cameras have 60 dB approximately. I take these advantages of the event cameras to detect moving objects and estimate the ego-motion of the camera in dynamic environments.

The first part of the dissertation focuses on asynchronously estimating optical flow streams with low latency and robustness to various scenes. Due to the fundamental difference between traditional and event cameras, most existing algorithms construct event frames by stacking the timestamp value of many events and exploit the legacy of traditional computer vision algorithms. However, this approach increases latency in proportion to the size of a time window, and the size has to be set heuristically. I estimate an optical flow stream with very low latency by enhancing the existing block matching algorithm. The locally estimated optical flow is more accurate than that of the method using a global event frame, in front of irregularly textured scenes. To validate the latency of optical flow, I present the result of angular velocity estimation by using the proposed optical flow stream. Then, the latency is computed by the optimization approach comparing the estimated and ground-truth angular velocity. The evaluation results suggest that the proposed optical flow has very low latency while showing comparable accuracy to event-frame-based algorithms. Besides, the performance of angular velocity estimation is superior to the other existing algorithms in terms of accuracy and robustness with low latency under 15 ms consistently.

The second part of the dissertation proposes an angular velocity estimation with motion segmentation. Unlike traditional cameras, since event cameras detect intensity changes, their event data can be dominated by a small but fast-moving object. To eliminate the influence from the movement of an undesirable object, I utilize the optical flow stream of the first work and intra-pixel-area method and separate an image frame into the static and dynamic regions. Moreover, since event cameras do not produce events at stationary, a classification model should be addressed in the temporal domain and be able to segment motion temporally. Thus, I employ the dual-mode motion model to update models that determine the region occupied by moving objects. Then, the angular velocity of ego-motion is estimated from a bunch of optical flows belonging to the static region. The evaluation results suggest that the proposed algorithm divides the image frame into static and dynamic parts successfully and estimates the angular velocity robustly in dynamic environments.