Post-Processed Posterior for High-Dimensional Covariances

Abstract

We consider Bayesian inference of banded, bandable, and sparse covariance matrices and propose the post-processed posterior procedure. The post-processed posterior is obtained by a two-step algorithm. In the first step, posterior samples are generated from the conjugate inverse-Wishart posterior. In the second step, the posterior samples are transformed so that they satisfy the structural assumption of the parameter through a post-processing function. The banding, tapering, and thresholding functions are employed as post-processing functions for banded, bandable, and sparse covariances, respectively. The procedure of post-processed posterior is computationally efficient and has optimal or nearly optimal minimax rates. The banding post-processed posterior attains nearly optimal minimax rates for the class of banded covariances, and the tapering and thresholding post-processed posteriors attain optimal minimax rates for the classes of bandable and sparse covariances, respectively.

We apply the post-processed posterior procedure to multivariate linear regression and portfolio selection as well. For the regression coefficient matrix under the bandable covariance assumption, we propose the blockwise tapering post-processed posterior of the regression coefficient and show its minimax optimality. Under the sparse covariance assumption, we apply the thresholding post-processed posterior to the global minimum variance weight and obtain the convergence rates for the global minimum variance portfolio. The proposed post-processed posteriors are demonstrated by simulation studies and real data analyses.

본 논문에서는 밴드 공분산, 밴더블 공분산, 그리고 성긴 공분산에 대한 베이지안 방법으로서 사후처리 사후분포를 제시한다. 사후처리 사후분포는 다음 두단계의 알고리듬을 통해 얻는다. 첫번째 단계에서는 모수공간의 제약조건과 상관없이 역위샤트 분포로부터 초기 사후샘플을 얻는다. 두번째 단계에서는 사후처리 함수를 이용하여 초기 사후샘플을 모수공간에 포함되도록 변형시킨다. 두번째 단계의 사후처리 함수는 모수공간 가정에 따라 밴드함수, 테이퍼링 함수 그리고 문턱함수를 이용한다. 위 알고리듬을 통해 고차원 공분산에 대해 계산 효율적인 베이지안 추정을 가능하게 한다. 결정 이론 틀을 이용하여 사후처리 사후분포의 이론적인 성질을 규명한다. 스펙트럼 노름을 손실함수로 설정하였을 때, 밴드함수를 이용한 사후처리 사후분포가 밴드 공분산 구조에서 거의 최소최대 최적임을 밝히고, 테이퍼링 사후처리 함수와 문턱 사후처리 함수를 이용한 방법이 각각 밴더블 공분산과 성긴 공분산 구조에 대해 최소최대 최적임을 밝힌다.

사후처리 사후분포를 다변량 선형 회귀분석과 포트폴리오 선택에 적용한다. 다변량 선형 회귀분석에 대해 밴더블 공분산 구조를 가정하고, 블럭 테이퍼링 사후처리 사후분포를 제시하고 그것이 최소최대 최적임을 보인다. 성긴 공분산 구조 가정하에서 문턱 사후처리 사후분포 분포를 최소분산 포트폴리오 추정에 적용하고, 그것의 수렴속도를 계산한다. 모의실험과 실제 자료분석을 통해 제시된 방법의 우수성을 입증한다.