NO.14.tip: 置信区间

背景

  设样本 $X$ 的分布包含未知参数 $\theta \in \Theta$，而 $g(\theta )$ 是定义在 $\Theta$ 上的一个已知函数，要利用样本 $X$ 对 $g(\theta )$ 进行估计。我们是用一个由样本 $X$ 所决定的数 $\hat{g}(X)$ 去估计 $g(\theta )$，称为 $g(\theta )$ 的点估计。这种估计的缺点在于，单从所给出的估计值 $\hat{g}(X)$ 上，无法看出它的精度有多大。（当然，你可以给出某种指标，例如估计的均方误差之类，去刻画这种精度，但这也还只是间接的。）更直接的方法，就是指出一个误差限 $d(X)$，而把估计写成 $\hat{g}(X)\pm d(X)$ 的形式。在各种部门中，我们常见到这种写法。这事实上就是一种区间估计：估计 $g(\theta )$ 在区间 $[\hat{g}(X)-d(X),\hat{g}(X)+d(X)]$ 之内。

  一般地，设有两个统计量 $A(X)$ 和 $B(X)$，满足条件 $A(X)\le B(X)$，则 $[A(X),B(X)]$ 就可作为 $g(\theta )$ 的一个区间估计。意思是：一旦有了样本 $X$，就把未知的 $g(\theta )$ 估计在区间 $[A(X),B(X)]$ 内。一般地，设有两个统计量 $A(X)$ 和 $B(X)$，满足条件 $A(X)\le B(X)$，则 $[A(X),B(X)]$ 就可作为 $g(\theta )$ 的一个区间估计。意思是：一旦有了样本 $X$，就把未知的 $g(\theta )$ 估计在区间 $[A(X),B(X)]$ 内。

源与流

  设 $X$ 为样本，$[{\theta }_1(X),{\theta }_2(X)]$ 是 $\theta$ 的一个区间估计。由于 $\theta$ 未知，且样本是随机的，我们不能保证在任何情况下（即对任何具体的样本值），区间 $[{\theta }_1(X),{\theta }_2(X)]$ 必定包含被估计的 $\theta$，而只能以一定的概率保证它。这个考虑引出下面的基本定义。

  如果不论参数 $\theta$ 在参数空间 $\Theta$ 中取什么值，“区间 $[{\theta }_1(X),{\theta }_2(X)]$ 包含 $\theta$”这个事件的概率总不小于指定的常数 $1-\alpha (0\le \alpha \le 1,\alpha$ 通常很小），即

$$P_{\theta }({\theta }_1(X)\le \theta \le {\theta }_2(X))\ge 1-\alpha (\text{一切 }\theta \in \Theta )\text{\hspace{1em}(1)}$$

则称 $[{\theta }_1(X),{\theta }_2(X)]$ 有置信水平 $1-\alpha$。也常称 $[{\theta }_1(X),{\theta }_2(X)]$ 是 $\theta$ 的置信水平 $1-\alpha$ 的区间估计或置信区间。

  由此定义可知，若 $1-\alpha$ 为置信水平，而 $0<\alpha <1$，则 $1-{\alpha }^{\prime }$ 也是置信水平。一切置信水平中的最大者称为置信系数。易见，$[{\theta }_1(X),{\theta }_2(X)]$ 的置信系数是 $\underset{\theta \in \Theta }{\inf }\{P_{\theta }({\theta }_1(X)\le \theta \le {\theta }_2(X))\}$。

  如果 ${\theta }_1(X)\equiv -\infty$，或 ${\theta }_2(X)\equiv \infty$，则相应地得到 $\theta$ 的上、下界估计。与此相应，有

  设 $\bar{\theta }(X)$ 是 $\theta$ 的一个上界估计，$0<\alpha <1$。若

$$P_{\theta }(\theta \le \bar{\theta }(X))\ge 1-\alpha (\text{一切 }\theta \in \Theta )\text{\hspace{1em}(2)}$$

则称 $1-\alpha$ 为 $\bar{\theta }(X)$ 的置信水平。也常称 $\bar{\theta }(X)$ 为 $\theta$ 的置信水平 $1-\alpha$ 的置信上界（或上限）。如前所述，一切置信水平中的最大者称为置信系数。

  对下界估计情况完全类似：若

$$P_{\theta }(\underline{\theta }(X)\le \theta )\ge 1-\alpha (\text{一切 }\theta \in \Theta )\text{\hspace{1em}(3)}$$

则称 $\underline{\theta }(X)$ 为 $\theta$ 的置信水平 $1-\alpha$ 的置信下界（或下限）。

  置信水平和置信系数的概念是 Neyman 区间估计理论的基本概念。这个概念的要点在于：被估计的参数 $\theta$ 虽然未知，但是一个常数，没有随机性，而区间 $[{\theta }_1(X),{\theta }_2(X)]$ 则是随机的。因此，这个概念允许一种频率的解释：如果把这个区间估计反复使用许多次，则有时它包含 $\theta$，有时不包含 $\theta$。当次数充分大时，包含 $\theta$ 的频率接近于置信系数。因此，一个置信系数为 $0.95$ 的区间估计 $[{\theta }_1(X),{\theta }_2(X)]$，其实际意义可理解为：当把 $[{\theta }_1(X),{\theta }_2(X)]$ 使用 100 次时，平均约有 95 次其结果是正确的，即包含了被估计的 $\theta$。

  构造置信区间的方法主要有两种：一种是从点估计出发；一种是从假设检验出发。在一些常见的重要问题中，这两种方法往往给出同一结果。

  首先，我们用一个例子来说明如何通过点估计量来构造置信区间。设 $X_1,\dots ,X_n$ 是抽自一总体的独立随机样本，总体分布为指数分布 (1.8) 式。给定 $\alpha$，找参数 $\lambda$ 的置信系数 $1-\alpha$ 的置信区间和置信上、下界。

  因为 $\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$ 是 $\frac{1}{\lambda }$ 的一个无偏估计（且是其 UMVUE），我们设想 $\lambda$ 的区间估计能通过 $\bar{X}$ 表示出来。因为 $\sum _{i=1}^n{X}_i$ 有概率密度 (1.20) 式，由此并注意到 ${\chi }^2$ 分布的密度 (1.28) 式，不难推出 $2\lambda n\bar{X}\sim {\chi }_{2n}^2$。于是，若找到 $a,,b;(0<a<b<\infty)$，满足条件

$$P(a\le {\chi }_{2n}^2\le b)=1-\alpha \text{\hspace{1em}(4)}$$

则有

$$P_{\lambda }(\frac{a}{n\bar{X}}\le \lambda \le \frac{b}{n\bar{X}})=1-\alpha (\text{一切 }\lambda >0)\text{\hspace{1em}(5)}$$

由 (5) 式知，$[a/(n\bar{X}),b/(n\bar{X})]$ 就是 $\lambda$ 的置信系数 $1-\alpha$ 的置信区间。它不是唯一的，一则满足条件 (4) 的 $a,b$ 有很多；二则也可以设想，不从 $\bar{X}$ 出发同样可构造 $\lambda$ 的区间估计。这样就产生一个如何在许多具同一置信系数的区间估计中选择其一的问题。这个问题到 4.1.4 小节中再谈，此处可考虑选择 $a,b$ 满足 (4) 式并使 $b-a$ 最小。这样的 $a,b$ 也不容易决定，实用上可行的方法是取

$$a={\chi }_{2n}^2(1-\frac{\alpha }{2}),b={\chi }_{2n}^2(\frac{\alpha }{2})$$

类似地，由 $P({\chi }_{2n}^2\ge {\chi }_{2n}^2(1-\alpha ))=P({\chi }_{2n}^2\le {\chi }_{2n}^2(\alpha ))=1-\alpha$，分别得出 $\lambda$ 的置信系数 $1-\alpha$ 的置信下、上界分别为 ${\chi }_{2n}^2(1-\alpha )/(2n\bar{X})$ 和 ${\chi }_{2n}^2(\alpha )/(2n\bar{X})$。

  接下来，我们给出一个如何通过假设检验构造置信区间的方法论。方法很简单：设要做 $\theta$ 的置信系数 $1-\alpha$ 的置信区间。考虑检验问题

$$H:\theta ={\theta }_0\leftrightarrow K:\theta \ne {\theta }_0\text{\hspace{1em}(6)}$$

找出 (6) 的一个检验，它的水平为 $\alpha$。设这个检验有接受域 $A_{{\theta }_0}$，即当样本 $X\in A_{{\theta }_0}$ 时接受 $H$，不然就否定 $H$。则有

$$P_{{\theta }_0}(X\in A_{{\theta }_0})\ge 1-\alpha ({\theta }_0\in \Theta )\text{\hspace{1em}(7)}$$

如果关系 $\{X\in A_{{\theta }_0}\}$ 可改写成等价的形式 $\{{\theta }_1(X)\le {\theta }_0\le {\theta }_2(X)\}$，则由 (7) 式可得 $P_{{\theta }_0}({\theta }_1(X)\le {\theta }_0\le {\theta }_2(X))\ge 1-\alpha$。改 ${\theta }_0$ 为 $\theta$，得

$$P_{\theta }({\theta }_1(X)\le \theta \le {\theta }_2(X))\ge 1-\alpha (\theta \in \Theta )\text{\hspace{1em}(8)}$$

(8) 式表示，$[{\theta }_1(X),{\theta }_2(X)]$ 是 $\theta$ 的一个置信水平 $1-\alpha$ 的区间估计。若检验的真实水平为 $\alpha$，则 (7) 式可改为等号，因而 (8) 式也可改为等号，故 $[{\theta }_1(X),{\theta }_2(X)]$ 有置信系数 $1-\alpha$。

  如果要做的是 $\theta$ 的置信上、下限，就需要考虑单边假设 $\theta \le {\theta }_0$ 或者单边假设 $\theta \ge {\theta }_0$ 的检验问题。