Detecting Structural Change Point in Autoregressive Time Series via Transformer

Abstract

In this paper, we discuss a method for detecting structural change point in autoregressive time series using transformer based deep learning model. Detecting structural changes can be achieved using the LSCUSUM test, which is one of the most popular methods for change point detection. A crucial aspect of constructing the LSCUSUM test is to adequately estimate the residuals, and choosing an appropriate model is of paramount importance. Given that many time series exhibit nonlinear characteristics, it becomes imperative to employ deep learning methods for capturing and effectively modeling these nonlinearities. Therefore, in this context, we utilize a transformer-based deep learning model that leverages the powerful self-attention mechanism. In the process, we compute empirical size and power about our method and apply to two real datasets.

본 논문에서는 트랜스포머 기반 딥러닝 모델을 이용하여 자기회귀 시계열에서 구조적 변화 지점을 탐지하는 방법에 대해 논의한다. 변화 지점 감지를 위한 방법 중 하나인 LSCUSUM 검정을 사용하여 구조적 변화를 감지할 수 있는데, LSCUSUM 검정의 가장 중요한 측면은 잔차를 정확하게 추정하는 것이므로, 적절한 모델을 선택하는 것이 가장 중요하다. 많은 시계열이 비선형 특성을 나타내므로 이러한 비선형성을 포착하고 효과적으로 모형화하기 위해 딥 러닝 방법을 사용하는 것이 필수적이다. 따라서 우리는 self-attention 메커니즘을 활용하는 transformer 기반 딥 러닝 모델을 활용한다. 또한, 본 연구에서는 transformer 기반의 변화점 탐지 방법에 대한 크기와 검정력을 Monte Carlo simulation으로 계산하고, 두 실제 데이터 세트에 적용한다.