A Reinforcement Learning Approach for the Aircraft Recovery Problem in Cases of Temporary Closures of Airports

Abstract

An airline scheduler plans flight schedules with efficient resource utilization. However, unpredictable events, such as the temporary closure of an airport, disrupt planned flight schedules. Therefore, recovering disrupted flight schedules is essential for airlines. We propose Q-learning and Double Q-learning algorithms using reinforcement learning approach for the aircraft recovery problem (ARP) in cases of temporary closures of airports. We use two recovery options: delaying departures of flights and swapping aircraft. We present an artificial environment of daily flight schedules and the Markov decision process (MDP) for the ARP. We evaluate the proposed approach on a set of experiments carried out on a real-world case of a Korean domestic airline. Computational experiments show that reinforcement learning algorithms recover disrupted flight schedules effectively, and that our approaches flexibly adapt to various objectives and realistic conditions.

항공사는 보유하고 있는 자원을 최대한 효율적으로 사용하여 항공 일정계획을 수립하기 위해 비용과 시간을 많이 소모하게 된다. 하지만 공항 임시폐쇄와 같은 긴급 상황이 발생하면 항공편의 비정상 운항이 발생하게 된다. 따라서 이러한 상황이 발생하였을 때, 피해를 최대한 줄이기 위해 항공 일정계획을 복원하게 된다. 본 연구는 강화학습을 이용하여 공항 임시폐쇄 상황에서 항공 일정계획 복원 문제를 푼다. 본 연구에서는 항공기 복원 방법으로 항공편 지연과 항공기 교체의 두 가지 방법을 채택하였으며, 항공 일정계획 복원 문제에 강화학습을 적용하기 위해서 마르코프 결정 과정과 강화학습 환경을 구축하였다. 본 실험을 위해 대한민국 항공사의 실제 국내선 항공 일정계획을 사용하였다. 강화학습 알고리즘을 사용하여 기존의 연구에 비해 항공 일정계획을 효율적으로 복원하였으며, 여러 현실적인 조건과 다양한 목적함수에 유연하게 적용하였다.