듀얼 어텐션 메커니즘 기반 Bidirectional Encoder-Decoder Recurrent Neural Network를 활용한 다변량 시계열 예측

Abstract

자연어처리에 주로 사용되는 RNN 계열의 모델들은 순차적인 데이터를 다루는 데 적합하기 때문에 시계열 데이터 분석에도 다양하게 활용되고 있다. RNN 계열의 모델들이 가지고 있는 취약점은 기울기 값의 소실이라는 문제이다. 이를 해결하기 위해 배치 정규화 같은 기법들이 사용되고 있지만, 시계열 데이터의 경우는 과거에서부터 이어져 오는 추세를 잃어버릴 수 있다. 그리고 적절한 외생변수들을 선택하는 사항도 고려되어야 한다. 본 연구에서는 위에서 언급한 문제들을 해결하기 위해 듀얼 어텐션 메커니즘을 기반으로 하는 양방향 Encoder-Decoder LSTM 모델을 제안한다. Encoder에서 작동하는 어텐션 메커니즘은 이전 단계의 양방향 LSTM에서 전달받은 hidden state와 cell state를 참조하여 예측에 도움이 되는 외생변수들을 파악한다. Decoder는 시계열적인 특성을 반영한 모델 구조로 되어 있다. 먼저 타겟변수의 과거 값들과 추세를 나타내는 통계치를 입력으로 받아서 양방향 LSTM을 통해 학습하고, 지정한 시간 간격까지 매번 hidden state를 업데이트시킨다. Decoder에서의 어텐션은 업데이트된 hidden state와 Encoder에서 나온 출력값을 연결하여 입력으로 받는다. 따라서 예측에 적합한 외생변수의 시점을 파악하는 것뿐만 아니라 타겟변수의 긴 추세를 반영할 수 있다. 모델 평가에 사용된 데이터는 약 4년 치의 KODEX 200(ETF)과 KODEX 200에 포함된 회사들의 5분 단위 개별 주가 거래 데이터이다.

Recurrent neural network has been widely applied for time-series prediction. However, the vanishing gradient is still a problem and only a few of them select the relevant dependent variables appropriately. In this paper, I propose a bidirectional encoder-decoder model using dual-stage attention to address the above problems. In the encoder, the input attention mechanism extracts relevant dependent variables by referring to the hidden state and cell state from the bidirectional LSTM of the previous time step. In the decoder, the attention mechanism is applied to the past values of the independent variable but it works differently with the first stage (encoder). A bidirectional LSTM runs through until the defined time step and the hidden state in the decoder is updated at each time step. The updated hidden state combines with the encoded input are used as input in the decoder. With the proposed method, the decoder can capture the information throughout the encoder. It learns a trend of independent variable efficiently and can make a better prediction in comparison with other encoder-decoder models. For the evaluation, the Korean stock market 5-minute trading data is used.