자율 주차를 위한 Around View Monitor(AVM) 기반 Visual SLAM

Abstract

자율주차는 인식, 계획, 제어로 이루어져있다.자율주차의 인식과정동안에 자동차는 자신의 위치를 알아야하고 주변환경을 인지할수있어야한다. 이러한 과정을 동시적위치추정및지도생성(SLAM)이라고한다. 많은 SLAM알고리즘들은 주변환경의 정확한인식을 위해 제안되어왔다. 특히 값싼 카메라를 주된센서로 사용하는 Visual SLAM은 자율주행자동차를 위한 유망한 알고리즘으로 여겨져왔다. 대부분의 Visual SLAM은 전방카메라를 사용한다. 이러한 시스템 형태에서, Visual SLAM은대부분의 환경에서 잘 작동한다. 그러나 주변환경에 특징점이 적고, 강한빛이 있는환경에서는 Visual SLAM의 성능이 하락한다. 많은수의 주차장들은 야외에 위치해있고, 주차선과 같은 단조로운 특징점들만을 가지고있다. 주차장에서의 이러한 문제들에 대처하고 Visual SLAM의 성능을 개선하기 위해서 이연구에서는 Around View Monitor(AVM)을 주요센서로 하는 새로운 Visual SLAM 알고리즘을 제안한다. AVM 시스템에서는 Top View 이미지가 생성되기 때문에 푸리에변환은 AVM이미지들로부터 동작정보를 추출하기 위해서 사용된다. 동작정보를 추정하기위해 reprojection error또는photometric error등을 비용함수로써 사용하는 기존의 Visual SLAM과는 달리 푸리에변환은 어떠한 특징점매칭이나 최적화과정없이,참조되는 이미지로부터 대상이되는 이미지로의 동작정보를 간단히 추정할수있다. 또한 자동차의 위치를 정확하게 그리고 강건하게 추정하기위해서 landmark를 이용한 위치추정방법이 사용되었다.이 연구에서 landmark라함은 주차선끼리 만나는 Cross point(교차점)을 말한다.이 연구에서 landmark를 이용한 위치추정은 세가지단계로 나뉜다.첫번째 단계는 교차점을 탐색하는것이다.주로 이미지에서 특징점을 찾기위해 Image Segmentation방법을 사용하는 기존의AVM기반의 SLAM연구와는 달리 이 연구에서는 Image Segmentation보다 훈련이 더쉽고 간단한 Object Detection네트워크인YoloV3를 사용하여 교차점을 탐색하였다.두번째 단계는 Data Association이다. SLAM에서 Data Association은 지도에 등록되어 있는 특징점과 현재 관찰된 특징점을 서로 연관시키는 작업이다. Deep SORT가 현재 관촬된 특징점을추적하기위해 사용되었지만, Deep SORT를 사용할때에는 추적되는 특징점의 ID가 비교적 자주 바뀌는 현상이 일어나서 푸리에변환으로부터의 동작정보와 현재 관찰된 특징점정보를 사용하여 Nearest Neighbor방법을 통해 추가적인 Data Association을 구현하였다. 푸리에변환으로부터의 동작정보는 비교적 정확하고, 교차점사이의 거리는 멀기때문에Data Association의 정확도는 Deep SORT만 사용했을때보다 정확해졌다.이후에 마지막단계에서는 일정개수이상의 data association이 이루어졌을때, Singular Value Decomposition을 이용하여 새롭게 동작정보가 추정된다. 기존의Visual SLAM과 제안된 SLAM알고리즘의 성능을 비교하기위해서 주차장에서 실험을진행하였고, LOAM이 알고리즘의 비교를위한 Groundtruth로서 사용되었다.

Autonomous parking consists of perception, planning, control. During perception procedure in autonomous parking, vehicle should know its location and perceive surrounding environment. This is called Simultaeneous Localization And Mapping (SLAM). Many SLAM algorithms have been proposed for accurate perception of environment. Especially, Visual SLAM, which uses a cheap camera as a main sensor of SLAM algorithm, has been considered as promising algorithm for autonomous vehicle. Most of Visual SLAM use front camera setting. In this camera setting, Visual SLAM works well for most of environments. However, performance of the algorithm gets worse when environment has few features or strong sunlight condition. Most of parking lots are located outdoor and have monotonous features like parking lines, cars. To address these problems and improve accuracy of Visual SLAM for autonomous parking, this paper proposes new Visual SLAM algorithm, which uses Around View Monitor(AVM) as a main sensor. As top-view images are generated in AVM system, fourier transform is used to extract motion information from the AVM images. Compared to traditional visual motion tracking methods which use reprojection error or photometric error as a cost function to estimate motion, fourier transform can simply estimate motion from reference AVM image to target AVM image without any optimization or feature matching. Also, landmark based localization is used to estimate vehicle's motion more robustly and accurately. In this paper, landmark means cross points on parking lines. Landmark based localization in this paper consists of three procedure. First one is cross point detection. Cross points are detected using YoloV3. Compared to other AVM based SLAM methods, which use Image segmentation to detect features in parking lot, training procedure of the neural network is simpler and easier. Second one is data association. Data association means associating procedure among features in map and currently observed features in SLAM literature. Deep SORT is used to track features using currently observed cross points. As re-identification of tracked features frequently occurs when using Deep SORT, additional data association is done using current motion estimation from image registration and currently observed cross points in Nearest Neighbor literature. As motion estimation accuracy from reference image to target image is considerably accurate and distance between cross points is far, data association accuracy is improved compared to the data association without this additional association procedure. After this data association, if the number of associated features is larger than one, motion is newly estimated using Singular Value Decomposition and positions of associated features. To demonstrate improvement of proposed SLAM algorithm compared to other Visual SLAM algorithms, experiments in parking lot are suggested and compared with traditional Visual SLAM algorithms. Also, Lidar Odometry And Mapping(LOAM)is used as a groundtruth for comparing the Visual SLAM algorithms.