Image Inconsistency Mitigation Algorithm for IMU/Vision Localization based on Aerial Scene Matching

Abstract

영상기반 항법(Image Based Navigation) 알고리즘은 대표적인 대체 항법(Alternative Navigation) 알고리즘 중 하나로 기술의 발전과 함께 최근 들어 널리 연구되고 있는 분야이다. 대체 항법 알고리즘은 관성항법시스템(Inertial Navigation System)을 기반으로 하고 위성항법시스템(Global Navigation Satellite System)을 사용할 수 없을 경우를 가정한다. 일반적으로 다양한 물리 정보를 이용하여 데이터베이스와 센서 데이터를 비교를 통해 항체의 위치를 추정할 수 있다. 관심 대상인 IBN은 지리위치정보(Geo-Localization Information)가 포함된 영상데이터베이스와 비행체가 촬영한 카메라 이미지를 비교하여 위치를 계산할 수 있는 것이 특징이다. 하지만 IBN은 데이터베이스와 카메라 이미지가 실제와는 다르게 유사도가 하락하는 경우가 발생할 수 있다. 예를 들어, 데이터베이스에는 없던 새로운 구조물에 의한 영향, 사진 내의 이동하는 물체, 광량의 변화, 촬영 각도에 따른 건물의 기울어짐, 단안 카메라를 이용할 때 발생할 수 있는 스케일 모호성, 그림자의 유무에 따라 유사도가 올바르지 않게 계산될 수 있다. 따라서 강건한 특징정보 추출기와 이상치 제거기법을 이용하여 문제 대부분을 해결하는 것이 일반적이다. 이들 중 유독 해결하기 어려운 원인은 촬영 각도에 따른 건물의 기울어짐 효과와 그림자 유무에 따른 영향이며 시스템이 가진 구조적인 문제라고 할 수 있다. 본 논문에서는 이러한 영향을 완화 시킬 수 있는 알고리즘들을 제안한다. 먼저, 촬영 각도에 의해 발생하는 건물의 기울어짐에 의한 영향을 반영한 강인한 특징점 선택기법을 제안하였다. 항체가 촬영한 영상의 건물은 촬영각도에 따라 다른 구조적 형태를 갖게 되고, 이는 데이터베이스와 정합시 오차를 만드는 요소가 된다. 연속된 사진이 들어오는 매우 짧은 순간, 관성센서를 이용하여 다음 특징점이 위치할 것으로 예상되는 지점과 불확실성을 계산하여 정합 정확도를 증가시켰다. 다음으로 항체가 탑재한 데이터베이스와 카메라로 촬영한 이미지의 차이로 인하여 그 유사도가 잘못 계산될 수 있다. 이러한 문제는 보통 템플릿 기반(픽셀의 밝기 기반) 알고리즘에서 주로 발생하는데, 촬영된 영상에서 그림자의 유무에 따라 정합 정확도가 크게 변화하고 항법 시스템에서 큰 오차를 유발하는 원인이다. 이는 예측하기 어렵고 후처리를 통하여 개선해야 하는 문제로 취급된다. 이러한 문제를 해결하고자 활성화 함수를 제안하여 그림자가 존재하는 위치를 검출하고, 대상 지점이 그림자에 위치할 경우 정보량의 중요도를 조절할 수 있도록 하였다. 마지막으로 제안한 시-불변 특징점과 밝기 기반의 영상 정합을 함께 이용하여 궁극적으로 파티클 필터의 가중치를 설정하는 기법을 소개한다. 즉, 앞에서 소개한 두 아이디어를 모두 적용하여 추출된 특징점과 시-불변 특징점의 비율, 그리고 이미지 내 존재하는 그림자의 비율을 이용한 것이 특징이다. 제안한 알고리즘들은 다양한 환경에서의 시뮬레이션 및 비행 실험을 통해 얻은 데이터를 이용하여 성능 검증을 수행하였다.

The importance of localization algorithms for aerial vehicles, including UAVs, is increasing. This is because autonomous systems are widely demanded and used. Therefore, the development of vision-based localization algorithms using a camera is becoming more important. The vision-based localization can be categorized into two types. The first is to use sequential camera images as relative localization. The second is to estimate the absolute localization solution using a camera image and database. We focus on the latter technique. The SM based absolute localization has the advantage that the position of the vehicle can be independently calculated without external information, making it possible to calculate a stable localization solution without cumulative errors. However, scene-matching (SM) based absolute localization has a mismatching problem, this is due to the difference between the reference for the matching and the input image, and the more the change, the higher the probability of mismatching. The difference between the database and the camera image is a major obstacle to image registration. One of the reasons that cause inconsistency between the image and the database is tilted objects. which leads to structural difference and cause of the mismatching between two images. Another reason that makes a significant difference is the shadow effect in the use of intensity-based registration. The tilted object and the shadow are the main factors making improper similarity function. Localization accuracy may be degraded due to the use of improper similarity function. Therefore, the two factors mentioned are challenging problems that must be solved. In this dissertation, we deal with the tilted object and the shaded area in camera image. The proposed algorithms utilized the relative velocity model similar to optical flow, but opposite concept of motivation. And the information allocation cost function is proposed considering the portion of the target samples in shaded area. First, a robust SM algorithm using time-invariant features that are propagated and bounded by a model propagator and pixel boundary is studied. The propagator is based on a relative velocity of the inertial navigation system (INS) model, which is very accurate for a short time. Also, the propagated feature points have pixel boundaries, which considers not only INS model uncertainty but also a distortion of the aerial images caused by various terrain characteristics. The proposed algorithms have been verified by simulation using real experimental data. Consequently, we can found the proposed algorithm is very effective in mitigating the mismatching problem in urban areas. And we have inherited and developed a Monte-Carlo localization (MCL) algorithm based on a new similarity cost function of camera images and database with geo-localization information. The main contribution of this work is to prevent performance degradation by reflecting the effect of the shadow area. The proposed algorithm allocates the importance of the information considering a portion of the shaded area in the camera image. We analyzed the effects of shadows on the camera, not in the database. To verify the algorithm, we compared it with not only conventional algorithms but also the image processing methods. The proposed algorithm is validated through various simulations and real flight experiments as well. In addition, a new weighting technique was proposed by fusion of the ratio of time-invariant feature points proposed to mitigate the effect of inclined buildings and the proposed activation function to mitigate the effect of shadows. In other words, we proposed a weighting method that can overcome the disadvantages of each technique while using both matching techniques using feature points and template, so that it can operate well in various environments.