Learning-Based Autonomous Vehicle Navigation Using Road Graph Networks

Abstract

본 학위 논문은 학습 기반의 자율주행 네비게이션 문제에 대해 다룬다. 자율주행 기술을 현실에 적용하기 위해서는 여러 도로환경에서 동작할 수 있는 범용적인 컨트롤러를 설계하는 것이 필요하다. 기존의 방법론은 사례 중심적인 방식을 사용하였다. 이는 각 사례별로 특정 도로 환경을 가정하고 컨트롤러를 설계하는 것을 의미한다. 이러한 사례 중심적인 방식으로 만들어진 컨트롤러는 이전에 다루어지지 않은 도로 환경에 대해서는 동작하지 않을 수 있다. 또한 도로 환경은 그 종류가 다양하기 때문에, 기존의 방법론으로 범용적인 자율주행 컨트롤러를 개발하는 것은 많은 개발시간과 비용을 요구하게 된다. 따라서 범용적인 자율주행 기술 개발을 위해서는 도로 환경에 구애되지 않는 새로운 종류의 방법론이 요구된다.

본 학위 논문에서는 특정 도로 환경을 가정하지 않고, 범용적으로 동작하는 컨트롤러를 설계하는 것을 목표로 한다. 이를 위해서 본 학위 논문은 학습 기반의 컨트롤러를 이용하고자 하며, 다양한 환경에서의 학습을 통해 범용적인 주행 성능을 높이고자 한다. 특히 다양한 도로 환경에 대한 특성을 파악할 수 있도록 학습시키기 위해서, 본 학위 논문은 도로 환경에 대한 정보를 컨트롤러에 입력으로 줄 것을 제안한다. 도로 환경 정보를 그래프 형태를 이용하여 인코딩 되며, 컨트롤러는 인코딩된 도로 그래프 정보를 학습하여 도로주행 성능을 높이게 된다. 본 학위 논문에서는 도로 그래프 활용와 관련하여 크게 세 가지 주제를 다룬다.

첫째로, 본 학위 논문은 도로 환경 정보를 그래프 기반으로 인코딩 하는 방법론에 대해 다룬다. 일반적으로 도로 위 자동차의 움직임은 도로 모양에 영향을 받는다. 따라서 자동차의 위치 정보에 대해 파악할 때는 자동차가 위치한 도로의 형태를 함께 고려해주어야 한다. 이를 위해 본 학위 논문은 도로를 그래프 형태로 나타내고, 자동차의 위치 정보를 도로 그래프와 연관지어 나타내는 방법을 제안한다. 본 학위 논문은 또한 이러한 도로 그래프를 처리할 수 있는 새로운 네트워크 구조를 제안한다. 실험 결과들은 도로 그래프를 이용하여 상태를 인코딩하는 방식이 컨트롤러의 도로 주행 환경 일반화에 도움이 된다는 사실을 증명한다.

둘째로, 본 학위 논문은 도로 환경 정보와 기타 센서 데이터를 융합하는 방법론에 대해 다룬다. 도로 그래프는 도로의 형태와 주변 차량의 위치를 나타낼 수 있지만, 실제 도시 환경에서 도로를 주행할 때 필요한 다른 정보들을 나타내지는 못한다. 예를 들어 도로 표지판이나 교통 신호와 같은 정보들은 도로 그래프로 표현하기 어렵다. 이를 해결하기 위해, 본 학위 논문에서는 도로 그래프 뿐만이 아니라 이미지, LiDAR와 같은 기타 센서 데이터를 조합하여 함께 입력으로 사용할 것을 제안한다. 도로 그래프만으로는 얻을 수 없던 정보들은 다른 센서 데이터 정보를 통해 보완될 수 있다. 본 학위 논문에서는 또한 도로 그래프와 다양한 센서 데이터를 융합할 수 있는 새로운 네트워크 구조에 대해 제안한다. 제안된 네트워크 구조를 통해, 컨트롤러는 복잡한 도로 환경에서도 자율주행을 성공한다. 실험 결과들은 제안된 융합 기반의 방식이 도로 환경 상태를 파악하는데 도움을 준다는 사실을 증명한다.

마지막으로, 본 학위 논문은 도로 그래프에 발생할 수 있는 오류를 탐지하여, 이로 인한 자율주행 성능 저하를 방지할 수 있는 방법론에 대해 다룬다. 도로 그래프 기반의 컨트롤러는 도로 그래프 데이터베이스를 사전에 미리 준비할 것을 요구한다. 하지만 도로는 도로 공사 등의 이유로 계속해서 형태가 변형될 수가 있다. 이러한 변화가 도로 그래프 데이터베이스에 반영되지 않는다면, 컨트롤러는 잘못된 도로 정보를 입력으로 받게 된다. 그렇기에 도로 그래프의 느린 업데이트는 컨트롤러의 성능 저하를 유발할 수 있고, 오류 탐지 기술은 이러한 성능 저하를 방지하기 위해 필요하다. 본 학위 논문에서는 이를 위해 도로 그래프 오류를 탐지할 수 있는 방법론에 대해 제안한다. 먼저, 도로의 변화로 인해 발생할 수 있는 오류에 대해 정의하고, 이러한 오류를 탐지할 수 있는 도로 그래프 변화 탐지 모듈을 제안한다. 실험 결과들은 도로 그래프 변화 탐지 기술이 실제 자율주행 컨트롤러의 성능 향상에 이용될 수 있음을 보인다.

This dissertation focuses on the learning-based autonomous navigation problem. To deploy an autonomous framework to the real world, it is necessary to design a general-purpose controller that can operate in various road environments. Previous methodologies have used case-specific methodologies, which means that a specific road environment is assumed for each case when designing a controller. A controller designed in this case-specific manner cannot properly operate in an unseen road environment which has not been addressed before. In addition, since the types of road environments are diverse, developing a general-purpose autonomous driving controller requires a lot of development time and cost. Therefore, a new kind of methodology, which is not limited to a specific road environment, is required to develop a general-purpose autonomous driving controller.

This dissertation aims to design a controller which operates universally without assuming a specific road environment. For this purpose, we employ a learning-based controller and focus on improving general driving performance through learning in various environments. In particular, to make the controller capture the features of various road environments, we suggest providing information about a road environment as input for the controller. Road environment information is encoded using a graph, and the controller enhances the driving performance by learning the encoded features of the road graph. This dissertation deals with three major issues related to utilizing a road graph.

First, this dissertation deals with a graph-based methodology for encoding road environment information. In general, the movement of a vehicle on the road is affected by the shape of the road. Therefore, when figuring out the location information of the vehicle, the shape of the road on which the vehicle is located must be considered together. For this purpose, we propose a representation method which reflects roads in the form of graphs and links the location information of vehicles to road graphs. We also propose a novel network structure capable of processing such road graph representations. Experimental results demonstrate that encoding a state by a road graph helps to generalize the controller's driving environment.

Second, this dissertation deals with a methodology that fuses road environment information with other sensor data. A road graph represents the structure of a road and the location of nearby vehicles but does not represent other information required to drive in a real world road environment. For example, information such as road signs and traffic signals is difficult to express by a road graph. To address this issue, we propose to combine a road graph with other sensor data such as images and LiDAR. Information that could not be obtained by a road graph is supplemented through other sensor data information. We also propose a novel network architecture which can fuse a road graph with various sensor data. Through the proposed network architecture, the controller succeeds in autonomous driving even in complex road environments. Experimental results demonstrate that the proposed fusion-based method helps to figure out the road environment state.

Finally, this dissertation deals with a methodology that can detect possible errors on road graphs and thereby prevent the degradation of autonomous driving performance. A road graph based controller requires a road graph database to be prepared in advance. However, roads can be continually changed due to several reasons, such as road construction. If these changes are not reflected in the road graph database, the controller receives incorrect road information as input. A slow update to the road graph can cause controller performance degradation, and therefore an error detection method is necessary to prevent such degradation. For this purpose, we propose a methodology which can detect road graph errors. We first define errors that may occur due to road changes and propose road graph change detection modules which can detect these errors. Experimental results show that road graph change detection can be used to improve the performance of an autonomous driving controller.