An Essay on Le Cam's Method

Abstract

In this paper, we consider the threshold linear regression model $y_i=x_i^T\beta+x_i^T\delta\cdot 1[q_i>\gamma]+u_i$, where $y_i$ is a dependent variable, $x_i\in\mathbb{R}^d$ are regressors, $q_i$ is a threshold variable, $u_i$ is a Gaussian noise, and $\beta$ and $\delta$ are unknown regression vectors. This paper develops three lower bounds of minimax convergence rates for the estimation of the unknown threshold location $\gamma$ for $\ell_1$-loss under three different threshold types. We show that when there is a jump threshold, the convergence of minimax risk is lower bounded by $n^{2\alpha-1}$ rate, where $n$ is the sample size and $\alpha$ means the diminishing rate of a threshold. In addition, we provide a lower bound of $n^{-1/2}$ rate for the kink threshold. Finally, we prove that if the threshold type is unknown, $n^{-1/3}$ rate becomes a lower bound of minimax risk. These rates are equivalent to the convergence rates of least-square based estimators. Our proofs are based on Le Cams method which is a technique that connects the minimax risk to the divergences among parameters. One of the widely used divergence measures to apply Le Cams method is Kullback-Leibler divergence. We briefly discuss Le Cams method formulated with Kullback-Leibler divergence and the limitation of Le Cams method.

본 논문은 임계점이 있는선형 회귀 모형을 분석한다. 대표적인 임계점 회귀분 석 모형은 다음과 같이 기술된다: $y_i=x_i^T\beta+x_i^T\delta\cdot 1[q_i>\gamma]+u_i$. 임계점의 위치, $\gamma$를 추정함에 있어서의 근본적인 한계를 분석하는 것은 기존 에 존재하는 추정 방법을 평가함에 보완적인 견해를 줄 수 있다. 본 논문은 임계점 추정에서 최대최소 수렴속도의 하한을 계산하여 임계점 모형에 관한 연구에 기여한다. 특히 기존에 존재하는 추정 방법들의 수렴 속도가 임계점의 성질에 영향을 받는다는 것에 주목하여 임계점의 성질에 따른 세 가지 모형을 제시하고 각각의 경우에 대해 최대최소 수렴속도의 하한을 구한다. 본 논문의 증명은 Le Cam (1973) 이 제시한 방법론에 기초한다. 따라서, 임계점 모형의 분석에 들어가기 앞서 Le Cam의 방법론을 적용하는 방법과 그 한계에 관하여 간략하게 논의한다.