주식 매매를 위한 강화학습에서의 대조적 표현학습 연구

Abstract

주가 시계열 데이터는 불규칙성이 강해 각 상황의 특징을 정확하게 파악하기 어렵다. 이러한 어려움 때문에 효과적인 주식 매매 전략에 대한 연구가 오랫동안 진행되어 왔다. 최근에는 강화학습에 심층학습을 결합한 주식 매매 연구가 주목을 받고 있다. 강화학습은 관찰한 상태(state)를 통해 행동(action)을 선택하기 때문에 주가의 현재 정보를 잘 표현하는 상태 선정이 매우 중요하다. 기존 강화학습 주식 매매 연구들은 규칙기반으로 추출한 주가 시계열의 특징이나 차원축소 또는 군집화와 같은 방법을 적용하여 추출한 정보를 강화학습 모델의 상태로 사용하고 있다. 본 논문에서는 최근 시계열 특징 추출에서 우수한 성능을 보이고 있는 대조학습을 활용하여 주가 데이터의 표현(representation)을 추출하고, 이를 강화학습 주식 매매 모델의 상태로 활용하는 방법을 제안한다. 실제 주식 데이터를 통해 실험한 결과 대조학습으로 추출한 주가의 표현을 기술적 지표와 함께 강화학습 모델의 상태로 사용하였을 때 기존 연구들에 비해 더 높은 수익률을 낼 수 있음을 확인하였다. 또한 대조학습으로 추출한 표현을 상태로 사용 시 강화학습 모델이 더 소극적인 매매를 하는 특징을 발견하였다. 이러한 결과는 대조학습을 통해 추출한 주가 데이터의 표현이 강화학습 주식 매매 모델의 성능을 향상시키는 데 중요한 역할을 할 수 있음을 시사한다.

Stock data are highly irregular, making it difficult to accurately characterize each situation. This challenge has long spurred research on effective stock trading strategies. Recently, due to the advancements in deep learning, research on stock trading using reinforcement learning has been actively carried out. Since reinforcement learning selects actions based on observed states, choosing a state that accurately represents current stock price information is crucial. This paper proposes a method to extract the representation of stock price data using contrastive learning, which has recently shown excellent performance in time-series feature extraction, and to use it as the state in reinforcement learning stock trading models. Experimental results using the representation of stock prices extracted through contrastive learning demonstrated higher profitability than previous studies using rule-based indicators. Furthermore, results found that the reinforcement learning model exhibits less trading when using the representation extracted by contrastive learning as the state. These results suggest that the representation of stock price data extracted through contrastive learning could play a crucial role in enhancing the performance of reinforcement learning-based stock trading models.