Bayesian regression using non-parametric modeling of Fourier coefficients and its applications

Abstract

We illustrate a nonparmetric modeling of Fourier coefficients, known as a spectral density, under a Bayesian framework to forecast a stationary one-dimensional random process and to predict a stationary two-dimensional random field on a regular grid. We switch from the time/space domain to the frequency domain, and introduce a Gaussian process prior to the log-spectral density. First, we propose Bayesian modeling of spectral density for spatial regression on a regular lattice grid. An interpolation technique to convert an estimated spectral density to a covariance matrix is also proposed to avoid matrix inversion for the spatial prediction. Simulation study shows that our approach is robust in that it does not require a parametric form and/or isotropic assumption of a covariance function. Also, our approach gives better prediction results over conventional spatial prediction under most parametric covariance models that we considered. We also compare our approach with other existing spatial prediction approaches using two datasets of Korean ozone concentration. Our approach performs reasonably good in terms of mean absolute error and root mean squared error. Second, we propose Bayesian modeling of spectral density for time series regression with heteroscedastic autocovariance. Heteroskedastic autocovariance is modeled as time varying marginal variance multiplied by stationary autocorrelation. Bayesian Markov-Chain-Monte-Carlo(MCMC) is used to estimate coefficients of the B-spline basis representation of the log marginal variance function as well as a log spectral density at Fourier frequencies so that we can estimate time varying autocovariance function. Simulation results show that the proposed approach successfully detected the temporal pattern of the autocovariance structure. Even though we need to estimate spectral density at all Fourier frequencies during Bayesian procedure, our approach does not lose much efficiency on computation compared to estimating only a few parameters in a parametric model such as $ARMA$ or $GARCH$. We applied the proposed method to forecast foreign exchange rate data and it shows good prediction accuracy in a sense of overall low root mean squared errors.

본 박사학위논문에서는 스펙트럴 밀도라 불리우는 일종의 푸리에(Fourier) 계수를 베이지안(Bayesian) 마코프-체인-몬테-카를로(MCMC) 관점에서 비모수적으로 모형화하는 통계적방법론을 제안하는데, 이는 등간격의 격자점에서 정의된, 정상성(stationarity)을 가진 1 차원 또는 2차원 확률과정을 예측하는 역할을 수행한다. 핵심 원리는 시간 또는 공간 영역에서 정의된 자기공분산함수를 푸리에변환을 통해 주파수 영역에서의 스펙트럴 밀도함수로 전환하는 것, 그리고 사후분석(posterior analysis)을 위해서 그 스펙트럼 밀도의 로그변환된 함수에 가우시안(Gaussian)과정 사전분포를 부여하는 것이다. 먼저 공간 자료 예측 문제에 적용할 수 있는 모형을 제안한다. 스펙트럴 밀도함수를 공분산 함수로 변환할 때 본 논문에서 제안하는 보간 기법은 전통적인 공간예측 모형에서 필요로 했던 역행렬 계산을 생략함으로서 계산 부담을 줄여준다. 본 모형은 어떠한 알려진 형태의 함수나 등방성 등의 가정을 필요로하지 않으면서도 기존에 대표적인 공간예측모형들과 비교했을 때 비슷하거나 혹은 더 나은 예측력을 가져다 준다는 것이 시뮬레이션 연구를 통해 입증되었다. 또한 이 모형을 MODIS, AURA와 같은 공신력을 가진 위성자료를 이용하여 한국 지역의 오존농도를 예측하는 문제에 적용했을 때에도 비교적 좋은 예측력을 갖는다는 것이 입증되었다. 다음으로 시계열 자료 예측 문제에 적용할 수 있는 모형을 제안한다. 여기서는 특히 정상성(stationarity) 가정이 일부 완화되어 자기공분산의 한계치(marginal auto-covariance)가 시간에 따라 변하는 이분산성(heteroscedasticity) 확률과정을 생각한다. 이 때 자기공분산은 시간에 따라 변하는 한계분산함수와 정상성을 가진 자기상관함수 사이의 곱으로 표현된다. 자기상관함수의 추정은 기존의 아이디어를 따르고, 한계분산함수의 추정에 있어서는 B-spline 기저함수를 이용한 비모수 추정법을 도입한다. 새로 도입된 과정 역시 하나의 베이지안 마코프-체인-몬테-카를로(MCMC) 안에서 구현된다. 시뮬레이션 연구를 통해 제안한 방법이 등분산성 혹은 이분산성을 지닌 시계열자료의 시간에 따른 패턴을 잘 잡아내는 것이 밝혀졌다. 기존에 잘 알려진 방법인 $ARMA$나 $GARCH$와 같은 모수적 방법론보다 훨씬 많은 수의 모수를 추정해야 함에도 계산 효율은 크게 떨어지지 않는 모습을 보여주고 있다. 본 모형을 대표적인 외국환율 자료 분석에 응용했을 때, 많은 경우 평균제곱오차의 관점에서 전반적으로 예측지점별 오차가 비교적 적게 나오는 것으로 확인되었다.