Statistical Inference for Random Unknowns

Abstract

This thesis is composed of six topics related to statistical inference on unobserved random effects, each centered around the concept of extended likelihood that incorporates information about the random unknowns. The first two topics focus on the theoretical properties of confidence distribution, whose density can be interpreted as an extended likelihood. The latter four topics reformulate the hierarchical likelihood, as an extended likelihood at specific scale, and investigate its theoretical properties, as well as its applications to deep learning. In the first topic, an epistemic confidence of the observed confidence intervals is introduced. Furthermore, the relevant subset problem associated is explained by incorporating the existence of betting markets into the Ramsey-De Finetti's Dutch book argument. It is demonstrated that the epistemic confidence is free from such issues. In the second topic, it is revealed that the existence of a point mass in confidence distribution plays an important role in maintaining the essential properties of the confidence distribution. The point mass has been considered paradoxical in Stein's paradox and satellite collision problems, but in fact, it gives an advantage to the confidence distribution. The proposed confidence distribution is free from the false confidence for the parameter of interest, and it maintains the confidence feature in both Stein's problem and the satellite conjunction problem. The third topic introduces the reformulation of hierarchical likelihood (h-likelihood) and establishes the theoretical properties for h-likelihood inference. This novel hierarchical likelihood can provide maximum likelihood estimators for fixed parameters and asymptotically the best unbiased estimators for random parameters, resolving the ambiguity of Lee and Nelder's (1996) original hierarchical likelihood. The last three topics deal with applications of the h-likelihood approach to deep learning models. While the most deep learning models implicitly assume the independence of data, real-world large scale data is often clustered with temporal-spatial correlations. In such cases, prediction performance of deep learning models can be improved by introducing random effects via h-likelihood. The fourth topic deals with deep learning models for continuous data with temporal-spatial correlations, and the fifth topic focuses on deep learning models for count data with non-Gaussian random effects. The sixth topic proposes h-likelihood approach to semi-parametric deep neural networks with gamma frailty for analyzing clustered censored data. In all three topics, the proposed methods improve prediction performance by introducing random effects into the existing deep learning models.

이 논문은 관측할 수 없는 변량 효과에 대한 통계적 추론에 관련된 여섯 개의 주제로 구성되어 있으며, 각각의 주제는 관측할 수 없는 변량에 관한 정보를 갖고 있는 확장된 가능도(extended likelihood)를 중심으로 연결되어 있다. 전반부의 두 주제는 신뢰도(confidence) 이론에 관한 내용으로, 신뢰분포의 밀도함수(confidence density)를 확장된 가능도로 해석하여, 신뢰도에 관한 이론적 성질을 규명하였다. 후반부의 네 주제는 특수한 스케일에서의 확장된 가능도로 정의되는 계층적 가능도(hierarchical likelihood)에 관한 이론적 성질과 딥러닝으로의 확장 및 응용에 관한 내용을 다룬다. 첫번째 주제에서는 관측된 신뢰구간에 대해 인식론적 신뢰도(epistemic confidence)를 정의하고 이를 계산하기 위한 방법을 제시하였다. 또한, 빈도주의적 관점에서 정의되는 신뢰도가 갖는 relevant subset 문제를 Ramsey-De Finetti의 Dutch book 논의에 betting market의 존재를 도입함으로써 설명하고, 인식론적 신뢰도가 이러한 문제로부터 자유로울 수 있음을 보였다. 두번째 주제에서는 Stein의 역설과 인공위성 충돌 문제를 통해 신뢰분포가 특정 지점에서 point mass를 갖는 문제를 새로운 관점에서 해석하여, 역설적으로 여겨지던 point mass의 존재가 신뢰분포의 핵심적인 성질을 유지하도록 만들어주는 데 중요한 역할을 한다는 것을 밝혔다. 이와 더불어, 제안한 형태의 신뢰 분포가 확률 형태의 추론이 갖는 근본적인 한계점으로 지적된 거짓 신뢰(false confidence) 문제에서 (적어도 목표 가설에 한해) 자유롭다는 것을 밝히고, 기존의 다른 방법론들과 달리 Stein 문제 및 인공위성 충돌 문제에서 적정 신뢰도를 유지할 수 있음을 보였다. 세번째 주제에서는 계층 가능도를 새롭게 정의하고 이론적 성질을 규명하였다. 새로운 계층 가능도는 고정 효과의 최대 가능도 추정량과 변량 효과의 점근적 최소분산 불편추정량을 제공할 수 있으며, 기존의 계층 가능도가 갖고 있던 이론적 모호성을 해소할 수 있다. 마지막 세 주제는 새롭게 정의한 계층 가능도를 기반으로 한 딥러닝 모형을 다루고 있다. 대부분의 딥러닝 모형들이 데이터의 독립성을 암묵적으로 가정하고 있지만, 실제 데이터는 시공간적 상관관계를 갖는 경우가 많다. 딥러닝 모형에 변량 효과를 도입함으로써 이러한 문제를 해결할 수 있으며, 계층 가능도 기반 접근법은 기존의 방법론에 비해 여러가지 장점을 갖는다. 네번째 주제에서는 시공간 상관관계를 갖는 연속형 데이터를 다루기 위한 딥러닝 모형을 다루었고, 다섯번째 주제에서는 비정규 변량 효과를 갖는 가산형 데이터를 다루기 위한 딥러닝 모형을 다루었다. 여섯번째 주제에서는 군집화된 절단자료를 분석하기 위한 계층 가능도 기반 준모수적(semi-parameteric) 접근법에 대해 다루었다. 세 주제 모두, 제안한 방법을 통해 딥러닝 모형에 변량 효과를 도입함으로써 기존 방법론의 예측 성능을 향상시킬 수 있었다.