The semiparametric Bernstein-von Mises theorem for models with symmetric error

Abstract

매끄러운 준모수 모형에서 관심 대상인 유한차원 모수의 주변 사후분포가 빈도론에서 말하는 유효추정량의 표본분포와 점근적으로 같아질 것이라는 명제는 비모수 베이지안 분야에서 중요한 연구 대상이었다. 이는 소위 Bernsetin-von Mises 정리라 불리는 것으로, 최근 다양한 준모수 모형에서 이 명제가 성립한다는 사실이 증명되었다. 본 학위논문에서는 대칭오차를 갖는 준모수 모형에서 Bernstein-von Mises 정리가 성립한다는 사실을 증명하고자 한다. 대칭오차를 갖는 모형의 가장 간단한 예로는 일차원 위치모수를 갖는 대칭위치모형을 생각할 수 있다. 오차 분포에 대한 가정을 줄이면 선형회귀모형이나 임의효과모형 또한 이러한 범주에 속한다. Bernstein-von Mises 정리를 증명하기 위해 본 논문에서 필요로 하는 비모수 사전분포에 대한 가정은 매우 약하며, 가장 널리 쓰이는 디리클레과정 혼합분포는 단연 이 조건을 만족한다. 따라서 이러한 모형에서 구한 베이즈 추정량은 Hajek-Le Cam의 포갬정리와 같은 빈도론 이론에서 말하는 최적의 추정량이 된다. Bernstein-von Mises 정리를 증명하는 과정에서 로그가능도비의 평균이 특정 이차식으로 전개된다는 사실이 중요하게 쓰이는데 이는 대칭밀도함수가 갖는 특수한 성질이다. 본 논문의 큰 공헌 중 하나는 임의효과모형에서 회귀계수에 대한 유효추정량을 구한 것인데, 이러한 모형에서는 온전히 가능도에 기반한 통계적 추론이 어렵기 때문에 회귀계수에 대한 유효추정량을 구하는 방법이 이전까지 알려지지 않았다. 본 논문의 결과에 따르면 사후분포의 평균이나 중위수 등의 베이즈 추정량은 회귀계수에 대한 유효추정량이 된다. 가상실험의 결과를 보면 이러한 모형에서 베이즈 추정량의 우수성을 보다 직접적으로 확인할 수 있다. 본 논문에서 제시하는 이론을 실용적으로 활용하기 위해 대칭디리클레과정 혼합모형에 기반한 깁스 샘플링 알고리즘을 제안하였다.

In a smooth semiparametric model, the marginal posterior distribution of the finite dimensional parameter of interest is expected to be asymptotically equivalent to the sampling distribution of frequentist's efficient estimators. This is the assertion of the so-called Bernstein-von Mises theorem, and recently, it has been proved in many interesting semiparametric models. In this thesis, we consider the semiparametric Bernstein-von Mises theorem in some models which have symmetric errors. The simplest example of these models is the symmetric location model that has 1-dimensional location parameter and unknown symmetric error. Also, the linear regression and random effects models are included provided the error distribution is symmetric. The condition required for nonparametric priors on the error distribution is very mild, and the most well-known Dirichlet process mixture of normals works well. As a consequence, Bayes estimators in these models satisfy frequentist criteria of optimality such as Hajek-Le Cam convolution theorem. The proof of the main result requires that the expected log likelihood ratio has a certain quadratic expansion, which is a special property of symmetric densities. One of the main contribution of this thesis is to provide an efficient estimator of regression coefficients in the random effects model, in which it is unknown to estimate the coefficients efficiently because the full likelihood inference is difficult. Our theorems imply that the posterior mean or median is efficient, and the result from numerical studies also shows the superiority of Bayes estimators. For practical use of our main results, efficient Gibbs sampler algorithms based on symmetrized Dirichlet process mixtures are provided.