NO.40.tip： 随机变量的收敛

背景

概率论最重要的一方面就是关注随机变量序列的趋势，这部分内容称为大样本理论或极限理论或渐近理论。最基本的问题是：关于随机变量序列 $X_1,X_2,\cdots$ 的极限性质可以作何论断？因为统计与数据挖掘涉及大量数据，自然而然地，也会关心当收集到越来越多的数据时会发生什么样的情况。

在积分理论中，如果对任意 $\epsilon >0$，$|x_n-x|<\epsilon$ 对充分大的 $n$ 都成立，则称实数序列 $x_n$ 收敛于极限 $x$。在概率论中，极限的概念更加深奥，回忆积分理论中的介绍，假设对所有 $n$ 有 $x_n=x$，则 $\underset{n\to \infty }{\lim }=x$。考虑该例子的概率模型，假设 $X_1,X_2,\cdots$ 为独立同分布随机序列，服从 $N(0,1)$ 分布，因为所有变量具有相同的分布，所以可以尝试着称 $X_n$ “收敛于” $X\sim N(0,1)$，但这种描述并不十分精确，因为对所有 $n$，$\mathbb{P}(X_n=X)=0$（两个连续随机变量相同的概率为 $0$）。

还有另外一个例子，假设 $X_1,X_2,\cdots \sim N(0,1/n)$，从直觉上判断，当 $n$ 很大时，$X_n$ 集中在 $0$ 附近，所以很希望称 $X_n$ 收敛于 $0$，但是对所有 $n$，$\mathbb{P}(X_n=0)=0$。很明显，需要其他工具来讨论更严格意义下的随机变量的收敛。

1. 大数定律说明样本均值 ${\overline{X}}_n=n^{-1}\sum _{i=1}^n{X}_i$ 依概率收敛于期望 $\mu =\mathbb{E}(X_i)$，意味着 ${\overline{X}}_n$ 以很高的概率趋于 $\mu$。
2. 中心极限定理说明 $\sqrt{n}({\overline{X}}_n-\mu )$ 依分布收敛于正态分布，意味着对很大的 $n$，样本均值渐进服从正态分布。

源与流

收敛的类型

两种主要的收敛类型定义如下：

定义 令 $X_1,X_2,\cdots ,$ 为随机变量序列，$X$ 为另一随机变量，令 $F_n$ 表示 $X_n$ 的 CDF，$F$ 表示 $X$ 的 CDF。

1. 如果对任意 $\epsilon >0$，当 $n\to \infty$ 时有 $$\mathbb{P}(|X_n-X|>\epsilon )\to 0,\text{\hspace{1em}(1)}$$ 则称 $X_n$ 依概率收敛于 $X$，记为 $X_n\stackrel{\mathrm{P}}{\to }X$。

2. 如果对 $F$ 的所有连续的点 $t$，有 $$\underset{n\to \infty }{\lim }{F}_n(t)=F(t),\text{\hspace{1em}(2)}$$ 则称 $X_n$ 依分布收敛于 $X$，记为 $X_n⇝X$。

当求 $X$ 服从点分布时，需要改变一下符号，如果 $\mathbb{P}(X=c)=1$ 且 $X_n\stackrel{\mathrm{P}}{\to }X$，则记 $X_n\stackrel{\mathrm{P}}{\to }c$，类似地，如果 $X_n⇝X$，则记为 $X_n⇝c$。

这里再介绍另外一种形式的收敛，这种收敛对证明概率中的收敛很有用。

定义 如果当 $n\to \infty$ 时有 $$\mathbb{E}(X_n-X{)}^2\to 0,\text{\hspace{1em}(3)}$$ 则称 $X_n$ 均方意义下收敛于 $X$（也称 $L_2$ 收敛），记为 $X_n\stackrel{\mathrm{qm}}{\to }X$。

同上面类似，如果 $X$ 服从在 $c$ 点的点分布，则用 $X_n\stackrel{\mathrm{qm}}{\to }c$ 代替 $X_n\stackrel{\mathrm{qm}}{\to }X$。

定理 如下关系成立：

(a) $X_n\stackrel{\mathrm{qm}}{\to }X$ 意味着 $X_n\stackrel{\mathrm{P}}{\to }X$。

(b) $X_n\stackrel{\mathrm{P}}{\to }X$ 意味着 $X_n⇝X$。

(c) 如果 $X_n⇝X$ 且对于实数 $c$ 有 $\mathbb{P}(X=c)=1$，则 $X_n\stackrel{\mathrm{P}}{\to }X$。

通常情况下，除特殊情况 (c) 外，反方向并不成立。

证明 从证明 (a) 开始，假设 $X_n\stackrel{\mathrm{qm}}{\to }X$ 成立，对固定 $\epsilon >0$，利用马尔可夫不等式

$$\mathbb{P}(|X_n-X|>\epsilon )=\mathbb{P}(|X_n-X{|}^2>{\epsilon }^2)\le \frac{\mathbb{E}|X_n-X{|}^2}{{\epsilon }^2}\to 0.$$

(b) 的证明。这部分证明有些复杂，读者可以跳过这一段。对固定 $\epsilon >0$ 并令 $x$ 为 $F$ 的连续点，则

$$\begin{array}{rl}{F}_n(x)& =\mathbb{P}(X_n\le x)=\mathbb{P}(X_n\le x,X\le x+\epsilon )+\mathbb{P}(X_n\le x,X>x+\epsilon )\\ & \le \mathbb{P}(X\le x+\epsilon )+\mathbb{P}(|X_n-x|>\epsilon )\\ & =F(x+\epsilon )+\mathbb{P}(|X_n-X|>\epsilon ).\end{array}$$

另外，

$$\begin{array}{rl}F(x-\epsilon )& =\mathbb{P}(X\le x-\epsilon )=\mathbb{P}(X\le x-\epsilon ,X_n\le x)+\mathbb{P}(X\le x-\epsilon ,X_n>x)\\ & \le F_n(x)+\mathbb{P}(|X_n-X|>\epsilon ),\end{array}$$

从而

$$F(x-\epsilon )-\mathbb{P}(|X_n-X|>\epsilon )\le F_n(x)\le F(x+\epsilon )+\mathbb{P}(|X_n-X|>\epsilon ),$$

对 $n\to \infty$ 取极限得

$$F(x-\epsilon )\le \underset{n\to \infty }{\mathrm{liminf}}{F}_n(x)\le \underset{n\to \infty }{\mathrm{limsup}}{F}_n(x)\le F(x+\epsilon ).$$

上式对所有 $\epsilon >0$ 都成立，在上式中对 $\epsilon \to 0$ 求极限并利用 $F$ 在 $x$ 处连续可得 $\underset{n}{\lim }{F}_n(x)=F(x)$。

(c) 的证明，对固定 $\epsilon >0$

$$\begin{array}{rl}\mathbb{P}(|X_n-c|>\epsilon )& =\mathbb{P}(X_n<c-\epsilon )+\mathbb{P}(X_n>c+\epsilon )\\ & \le \mathbb{P}(X_n\le c-\epsilon )+\mathbb{P}(X_n>c+\epsilon )\\ & =F_n(c-\epsilon )+1-F_n(c+\epsilon )\\ & \to F(c-\epsilon )+1-F(c+\epsilon )\\ & =0+1-1=0.\end{array}$$

下面来说明反向并不成立。

依概率收敛不能推出均方意义下收敛 令 $U\sim \mathrm{Uniform}(0,1)$，$X_n=\sqrt{n}{I}_{(0,1/n)}(U)$，则 $\mathbb{P}(|X_n|>\epsilon )=\mathbb{P}(\sqrt{n}{I}_{(0,1/n)}(U)>\epsilon )=\mathbb{P}(0\le U<1/n)=1/n\to 0$。因此，$X_n\stackrel{\mathrm{P}}{\to }0$，但是对所有 $n$ 有 $\mathbb{E}(X_n^2)=n{\int }_0^{\frac{1}{n}}\mathrm{d}u=1$，所以 $X_n$ 在均方意义下不收敛。

依分布收敛不能推出依概率收敛 令 $X\sim N(0,1)$，$X_n=-X$，其中 $n=1,2,3,\cdots$；因此，$X_n\sim N(0,1)$，即对所有 $n$，$X_n$ 与 $X$ 同分布，所以对所有 $x$，$\underset{n}{\lim }{F}_n(x)=F(x)$，也就是说，$X_n⇝X$，但是 $\mathbb{P}(|X_n-X|>\epsilon )=\mathbb{P}(|2X|>\epsilon )=\mathbb{P}(|X|>\epsilon /2)\ne 0$，也即 $X_n$ 不依概率收敛于 $X$。

注意 有人也许认为如果 $X_n\stackrel{\mathrm{P}}{\to }b$，则 $\mathbb{E}(X_n)\to b$，这是不正确的[^1]。令 $X_n$ 为随机变量，定义为 $\mathbb{P}(X_n=n^2)=1/n$ 且 $\mathbb{P}(X_n=0)=1-(1/n)$，则 $\mathbb{P}(|X_n|<\epsilon )=\mathbb{P}(X_n=0)=1-(1/n)\to 1$，因此 $X_n\stackrel{\mathrm{P}}{\to }0$，而 $\mathbb{E}(X_n)=[n^2\times (1/n)]+[0\times (1-(1/n))]$，因此 $\mathbb{E}(X_n)\to \infty$。

某些收敛性质在变换规则下也成立。

定理 令 $X_n,X,Y_n,Y$ 为随机变量，$g$ 为连续函数。

(a) 如果 $X_n\stackrel{\mathrm{P}}{\to }X$ 且 $Y_n\stackrel{\mathrm{P}}{\to }Y$，则 $X_n+Y_n\stackrel{\mathrm{P}}{\to }X+Y$；

(b) 如果 $X_n\stackrel{\mathrm{qm}}{\to }X$ 且 $Y_n\stackrel{\mathrm{qm}}{\to }Y$，则 $X_n+Y_n\stackrel{\mathrm{qm}}{\to }X+Y$；

(c) 如果 $X_n⇝X$ 且 $Y_n⇝c$，则 $X_n+Y_n⇝X+c$；

(d) 如果 $X_n\stackrel{\mathrm{P}}{\to }X$ 且 $Y_n\stackrel{\mathrm{P}}{\to }Y$，则 $X_n{Y}_n\stackrel{\mathrm{P}}{\to }XY$；

(e) 如果 $X_n⇝X$ 且 $Y_n⇝c$，则 $X_n{Y}_n⇝cX$；

(f) 如果 $X_n\stackrel{\mathrm{P}}{\to }X$ 则 $g(X_n)\stackrel{\mathrm{P}}{\to }g(X)$；

(g) 如果 $X_n⇝X$ 则 $g(X_n)⇝g(X)$；

(c) 和 (e) 就是 Slutsky 理论，$X_n⇝X$ 且 $Y_n⇝Y$ 通常都不能得出 $X_n+Y_n⇝X+Y$。

大数定理

接下来讨论的议题可以称为是概率论中最伟大的成果，它就是大数定律。大数定律指出大量样本的均值近似于分布的均值，例如，无数次投掷硬币出现正面的概率趋近于 $1/2$，下面对该定理简要描述。

令 $X_1,X_2,\cdots$ 为 IID 样本，令 $\mu =\mathbb{E}(X_1)$ 且 ${\sigma }^2=\mathbb{V}(X_1)$。回忆前面已经讨论过的内容：样本均值定义为 ${\overline{X}}_n=n^{-1}\sum _{i=1}^n{X}_i$，$\mathbb{E}({\overline{X}}_n)=\mu$，$\mathbb{V}({\overline{X}}_n)={\sigma }^2/n$。

定理（弱大数定律）（the weak law of large numbers (WLLN)）如果 $X_1,\cdots ,X_n$ 为 IID 样本，则 ${\overline{X}}_n\stackrel{\mathrm{P}}{\to }\mu$。

证明 假设 $\sigma <\infty$，该假设并不是必需的，但有利于简化证明，利用切比雪夫不等式可得，

$$\mathbb{P}(|{\overline{X}}_n-\mu |>\epsilon )\le \frac{\mathbb{V}({\overline{X}}_n)}{{\epsilon }^2}=\frac{{\sigma }^2}{n\epsilon }.$$

当 $n\to \infty$ 时，上式趋于 $0$。

中心极限定理

大数定律指出 ${\overline{X}}_n$ 的分布会聚集在 $\mu$ 附近，这还不能描述 ${\overline{X}}_n$ 的概率性质，为此，还需要中心极限定理。

假设 $X_1,\cdots ,X_n$ 为均值为 $\mu$ 方差为 ${\sigma }^2$ 的 IID 序列，中心极限定理（CLT）指出 ${\overline{X}}_n=n^{-1}\sum _i{X}_i$ 近似服从均值为 $\mu$ 方差为 ${\sigma }^2/n$ 的正态分布，这一结论是非常卓越的，因为除了 $X_i$ 的分布的均值和方差需要存在的条件外，没有其他别的条件。

定理（中心极限定理 (CLT)） 令 $X_1,\cdots ,X_n$ 为均值为 $\mu$ 方差为 ${\sigma }^2$ 的 IID 序列，令 ${\overline{X}}_n=n^{-1}\sum _{i=1}^n{X}_i$，则 $$Z_n\equiv \frac{{\overline{X}}_n-\mu }{\sqrt{\mathbb{V}({\overline{X}}_n)}}=\frac{\sqrt{n}({\overline{X}}_n-\mu )}{\sigma }⇝Z,$$ 其中，$Z\sim N(0,1)$，换句话说，下式成立： $$\underset{n\to \infty }{\lim }\mathbb{P}(Z_n\le z)=\Phi (z)={\int }_{-\infty }^z\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}\mathrm{d}x.$$

含义：有关 ${\overline{X}}_n$ 概率陈述可以利用正态分布来近似，注意这仅仅是概率陈述上的近似，而并不是随机变量本身。

除了 $Z_n⇝N(0,1)$ 外，还有其他几个符号可以表示 $Z_n$ 的分布收敛于正态分布，他们表达的含义本质上是一样的，具体形式如下：

$$\begin{array}{rl}{Z}_n& \approx N(0,1),\\ {\overline{X}}_n& \approx N\left(\mu ,\frac{{\sigma }^2}{n}\right),\\ {\overline{X}}_n-\mu & \approx N\left(0,\frac{{\sigma }^2}{n}\right),\\ \sqrt{n}({\overline{X}}_n-\mu )& \approx N(0,{\sigma }^2),\\ \frac{\sqrt{n}({\overline{X}}_n-\mu )}{\sigma }& \approx N(0,1).\end{array}$$

中心极限定理说明 $Z_n=\sqrt{n}({\overline{X}}_n-\mu )/\sigma$ 近似服从 $N(0,1)$，然而，却得

$\sigma$，后面将介绍可以用 $X_1,\cdots ,X_n$ 的函数

$$S_n^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-{\overline{X}}_n{)}^2$$

去估计 ${\sigma }^2$。这又产生了另外一个问题：如果用 $S_n$ 去代替 $\sigma$，中心极限定理还成立吗？答案是肯定的。

定理 假设跟 CLT 相同的条件，则

$$\frac{\sqrt{n}({\overline{X}}_n-\mu )}{S_n}⇝N(0,1).$$

我们或许要问，正态近似的精度有多大呢？答案将在 Berry-Essèen 定理中给出。

定理（Berry-Essèen 定理） 假设 $\mathbb{E}|X_1{|}^3<\infty$，则

$$\underset{z}{\sup }\left|\mathbb{P}(Z_n\le z)-\Phi (z)\right|\le \frac{33}{4}\frac{\mathbb{E}|X_1-\mu {|}^3}{\sqrt{n}{\sigma }^3}.\text{\hspace{1em}(4)}$$

中心极限定理也存在多元的情形。

定理（多元中心极限定理） 令 $X_1,\cdots ,X_n$ 为 IID 随机向量，其中，

$$X_i=\left(\begin{array}{c}{X}_{1i}\\ X_{2i}\\ ⋮\\ X_{ki}\end{array}\right),$$

其均值为

$$\mu =\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_k\end{array}\right)=\left(\begin{array}{c}\mathbb{E}(X_{1i})\\ \mathbb{E}(X_{2i})\\ ⋮\\ \mathbb{E}(X_{ki})\end{array}\right),$$

方差矩阵为 $\Sigma$，令

$$\overline{X}=\left(\begin{array}{c}{\overline{X}}_1\\ {\overline{X}}_2\\ ⋮\\ {\overline{X}}_k\end{array}\right),$$

其中，${\overline{X}}_j=n^{-1}\sum _{i=1}^n{X}_{ji}$，则

$$\sqrt{n}(\overline{X}-\mu )⇝N(0,\Sigma ).$$

Delta方法

如果 $Y_n$ 的极限分布为正态分布，则 Delta 方法提供了求 $g(Y_n)$ 极限分布的方法，其中 $g$ 为任意光滑函数。

定理（Delta 方法） 假设 $$\frac{\sqrt{n}(Y_n-\mu )}{\sigma }⇝N(0,1),$$ $g$ 为可微函数满足 $g^{\prime }(\mu )\ne 0$，则 $$\frac{\sqrt{n}(g(Y_n)-g(\mu ))}{|g^{\prime }(\mu )|\sigma }⇝N(0,1).$$ 换言之， $$Y_n\approx N\left(\mu ,\frac{{\sigma }^2}{n}\right)\Rightarrow g(Y_n)\approx N\left(g(\mu ),(g^{\prime }(\mu ){)}^2\frac{{\sigma }^2}{n}\right).$$

例 令 $X_1,\cdots ,X_n$ 为具有有限均值和有限方差的 IID 序列，根据中心极限定理，$\sqrt{n}({\overline{X}}_n-\mu )/\sigma ⇝N(0,1)$，令 $W_n=e^{{\overline{X}}_n}$，即 $W_n=g({\overline{X}}_n)$，其中，$g(s)=e^s$，因为 $g^{\prime }(s)=e^s$，由 Delta 方法得 $W_n\approx N(e^{\mu },e^{2\mu }{\sigma }^2/n)$。

Delta 法也存在多元的形式。

定理（多元 Delta 方法） 假设 $Y_n=(Y_{n1},\cdots ,Y_{nk})$ 为随机向量序列满足

$$\sqrt{n}(Y_n-\mu )⇝N(0,\Sigma ).$$

令 $g:{\mathbb{R}}^k\to \mathbb{R}$ 且

$$\nabla g(y)=\left(\begin{array}{c}\frac{\partial g}{\partial y_1}\\ ⋮\\ \frac{\partial g}{\partial y_k}\end{array}\right).$$

令 ${\nabla }_{\mu }$ 表示 $\nabla g(y)$ 在 $y=\mu$ 处的值并假设 ${\nabla }_{\mu }$ 的元素均是非零的，则有

$$\sqrt{n}(g(Y_n)-g(\mu ))⇝N(0,{\nabla }_{\mu }^{\mathrm{T}}\Sigma {\nabla }_{\mu }).$$