Airline Dynamic Pricing with Patient Customers Using Deep Exploration-Based Reinforcement Learning

Abstract

This thesis considers an airline dynamic pricing problem in the presence of patient customers. Nowadays, customers behave strategically to pay lower than their willingness to pay because they know airlines are implementing dynamic pricing strategies. To capture the non-myopic characteristic, we propose a Markov decision process (MDP) including a history of offered prices as a state variable. In contrast to previous studies, distributions of customers' properties are assumed to be unknown in advance. Deep reinforcement learning (DRL) algorithms are utilized to solve it, and the results of numerical experiments are presented to show that their performance can be improved with the proposed formulation. Comparisons between algorithms are also made to determine which can construct appropriate pricing structures for the patient and non-stationary demand. The structures of pricing policies generated from the bootstrapped deep Q-network algorithm imply that airlines should offer high and low prices alternately from the beginning of the sales period rather than increasing prices as time goes on. We also ascertain that more frequent consecutive high-priced periods can increase airlines' revenue in environments with higher customer patience levels.

본 연구에서는 전략적 소비자가 존재하는 시장에서 항공사 동적 가격 결정 문제를 다루었다. 최근 소비자들은 항공사에서 동적 가격 정책을 시행하는 것을 인지하고 있기 때문에, 그들의 지불 용의보다 낮은 가격을 지불하기 위해 전략적으로 행동한다. 이러한 소비자 특성을 고려하여, 본 연구에서는 과거에 제시된 가격 기록을 상태 변수로 포함하는 마르코프 의사결정 과정 모델을 제안하였다. 이 때 고객 특성에 대한 확률 분포들은 사전에 알려져 있지 않다고 가정하였다. 문제 해결을 위해 심층 강화학습 방법론이 활용되었으며, 알고리즘 별 비교를 통해 전략적이고 동적인 수요 하에서 가장 적절한 가격 구조를 도출하는 알고리즘을 제시하였다. 또한 해당 가격 구조를 분석하여 전략적 수요로부터 추가적인 수익을 발생시키기 위한 경영적 통찰력을 제공하고자 하였다.