Sequence-based place recognition using deep learning features in changing environments

Abstract

비전 기반의 장소 인식 기술은 카메라를 통해 획득한 이미지로부터, 로봇이 자신이 방문했던 장소를 인식하는 기술이다. 이미지는 주변 환경에 대한 풍부한 정보를 제공하지만 계절이나 날씨 등의 영향을 많이 받는 특성이 있다. 본 학위 논문은 이 한계를 극복하기 위하여 변화하는 환경에서 이미지 기반으로 장소를 인식하는 문제에 대하여 다룬다. 크게 두 가지 접근법을 제시하는데 첫 번째는 딥러닝을 활용하여 이미지로부터 환경 변화에 강인한 특징을 추출하는 방법이고 두 번째는 로봇의 위치 및 속도 정보를 활용하여 이미지 간 관계를 이용하는 시퀀스 기반의 장소 인식 방법이다.

오토인코더(Auto-encoder)는 인코딩 과정과 디코딩 과정으로 이루어진 딥러닝 구조로, 이미지 전체의 정보를 압축하는 특징을 추출할 수 있다. 환경 정보를 포함하는 새로운 오토인코더 구조를 제안하여 환경의 변화를 예측하는 모델을 제안한다. 이 구조는 다양한 환경의 이미지를 생성할 수 있을 뿐만 아니라 환경의 영향을 받지 않는 이미지를 생성할 수 있어서 변화에 강인한 특징을 추출할 수 있다. 또한 Variational 오토인코더 구조를 변형한 새로운 특징 추출 방법을 제안한다. 장소는 환경 변화에 변하지 않는 부분과 변화에 민감한 부분으로 나누어 있다고 가정하고 Variational Bayes 이론을 전개하여 학습을 수행한다. 변화에 강인한 부분을 이미지 특징으로 활용하여 계절이나 날씨 변화에도 장소를 정확하게 인식할 수 있다.

시퀀스 기반의 장소 인식 방법은 변화가 큰 환경에서 이동 로봇의 위치와 속도로부터 이동 범위를 계산하여 시퀀스 정보로 장소를 인식하는 방법이다. 본 논문에서는 Dynamic programming을 이용하여 로봇의 속도가 변화하거나 역주행하는 환경에서도 정확히 경로를 추정하여 장소를 인식하는 방법을 제시하였다. 또한 Glocal alignment 방법을 이용하여 가능성이 높은 일부분의 경로부터 먼저 찾은 후 전역적인 관점에서 로봇의 경로를 추정하는 방법을 제안하였다. 이 방법은 중간에 시퀀스가 끊기거나 잘못된 방향으로 추정하는 오류를 최소화하여 장소 인식의 성능을 높일 수 있었다.

제안한 방법의 타당성을 증명하기 위해 날씨, 계절, 시간의 변화와 같은 환경 변화와 로봇의 가속, 감속, 정지 상태와 같은 속도 변화 하에서 수집한 공인된 데이터셋을 이용하여 실험을 수행하였다. 그 결과 환경 변화에 강인한 딥러닝 기반의 특징 추출 방법과 속도 변화에 강인한 시퀀스 기반 장소 인식 방법의 성능을 검증하여 본 논문의 타당성을 증명할 수 있었다.

Visual place recognition is one of the most fundamental requirements for autonomous navigation, simultaneous localization and mapping (SLAM) for mobile robots, as it can increase the precision of a pose estimate and global localization results by correcting the error accumulation problem. As cameras have become more compact and accurate while providing rich qualitative information about the environment, they have been successfully used as the primary sensor for learning and recognizing places. However, visual information is ineffective when dealing with extreme perceptual changes such as weather or seasonal variations.

This dissertation presents visual place recognition methods for robots operating in changing environments. To solve the problem, condition-invariant feature extraction methods using deep architectures and sequence-based place recognition algorithms that are robust to both environmental changes and vehicle speed variation are presented.

An auto-encoder, a deep learning structure which consists of the encoder and the decoder networks, is employed to predict environmental changes by containing the image and context information. This structure can reconstruct images of various environments, and generate condition-invariant images for place recognition in changing environments. Another method is variational Bayesian approach to robust feature extraction. Under the assumption that a latent representation of the variational auto-encoder can be divided into condition-invariant and condition-sensitive features, a new structure of the variational auto-encoder is proposed and a variational lower bound is derived to train the model. After training the model, condition-invariant features are extracted from test images to calculate the similarity between them, and the places can be recognized even in a severe environmental changes.

Sequence-based place recognition approaches are back-end methods to overcome perceptual changes. A new dynamic programming method is proposed to align sequences of image features. As this method considers not only environmental variations, but also the motion constraint of the mobile robot, places from changing environment can be successfully recognized by finding the most likely path sequence. Moreover, a glocal sequence alignment which combines the global and local approaches is proposed. The proposed method detects local fragments from the similarity matrix and calculates the optimal global path by chaining them. As the chained fragments provide reliable clues to find the global path, false matchings on featureless structures or partial failures during the alignment could be recovered.

Experiments were performed to show the effectiveness of the proposed methods. Datasets from different environmental changes such as weather, day/night, seasons were used to compare proposed methods with existing place recognition algorithms. Experimental results were analyzed by precision-recall curves, and the proposed techniques showed improved results than existing methods.