심층강화학습을 이용한 무인수상선의 충돌회피

Abstract

무인수상선이 할당된 임무를 성공적으로 수행하기위해서는 선박 및 장애물에 대한 충돌회피 성능이 필수적으로 확보 되어야한다. 이는 무인수상선 자선의 안전성을 확보하기 위함과 동시에 무인수상선 근처에서 운항하는 일반 선박의 인명 및 재산상의 손실을 방지하기 위함이다. 이와 같은 사회적 요구에 따라 무인수상선의 충돌회피 능력을 향상시키기 위한 연구가 활발히 이루어져 왔다. 본 논문에서는 기존에 수행되었던 선박의 충돌회피와 관련된 선행연구들의 한계점을 분석하고 이들을 극복하는 방향으로 연구목표를 설정하였다. 본 연구에서 설정한 네 가지의 목표는 다음과 같다. 첫째, 충돌위험도를 추론할 때, 자선과 장애물 간의 조우상황을 단순화 하지 않고, 직접 고려할 수 있어야한다. 둘째, 다수의 선박에 대한 충돌위험성을 인식할 수 있어야 한다. 셋째, 자선의 조종성능이나 환경하중의 영향을 고려할 수 있어야 한다. 넷째, 조우 상황별로 상이한 기준을 이용하여 충돌회피를 수행할 수 있어야 한다. 무인수상선의 충돌회피는 일반적으로 탐지- 의사결정 - 경로계획 - 제어의 단계를 거친다. 각종 장애물 탐지센서를 이용해 얻은 장애물의 위치 및 운동정보를 바탕으로 현재 조우상황을 판단하고, 이를 통해 회피여부에 대한 의사결정을 진행한다. 장애물회피 여부가 결정되면 충돌을 방지하기 위한 경로계획을 수립하고, 수립된 명령에 따라 선박을 제어하여 충돌을 회피한다. 본 연구에서는 이들 단계 중 충돌회피 여부 및 시점을 판단하는 의사결정 단계에 대한 연구를 심층강화학습이라는 기법을 이용하여 진행하였다. 강화학습은 학습자가 스스로 주변환경과 상호작용을 통해 최적의 행동을 찾아 나가는 기계학습의 한 종류이다. 본 연구에서는 학습자를 무인수상선으로 선정하고, 반복적인 충돌회피 시뮬레이션을 통해서 무인수상선 스스로 최적의 충돌회피 시점을 찾아나가는 접근방법을 사용하였다. 시뮬레이션을 통해 강화학습을 수행하기 위해서는 무인수상선의 동역학 정보가 필요한데, 이를 위해 본 연구에서는 무인수상선 실선에 대한 시스템 식별을 수행하였다. 본 연구에서 제안하는 심층강화학습 기반 충돌회피 알고리즘은 국제 해상충돌 예방규칙을 준수하도록 구성하였고, 각 조우상황별로 상이한 요구조건을 만족할 수 있도록 구성하였다. 또한, 무인수상선이 반복적으로 충돌회피 시뮬레이션을 통해 주변환경과 행동에 대한 반응을 학습하므로, 경험적으로 자선의 조종성능과 환경하중에 대한 영향을 반영 할 수 있다. 구성된 충돌회피 알고리즘을 검증하기 위하여 다양한 시나리오에 대한 충돌회피 시뮬레이션을 수행하였다. 이로부터 얻어진 자선과 타선의 궤적, 침로각 정보, 상대거리 정보, 충돌 회피 시점 등을 통해 본 연구에서 제안하는 기법의 효과성을 확인하였다. 학습된 충돌회피 알고리즘은 무인수상선 실선에 탑재되어 실해역 충돌회피 실험을 통해 실제 환경에서의 충돌회피 능력을 확인하였다.