NO.18.tip： Fisher信息矩阵

背景

我们将讨论一个称为 Fisher 信息矩阵 的重要统计量，该信息矩阵与对数似然函数的曲率有关。这在频率学派统计学中起着关键作用，用于表征最大似然估计的采样分布。然而，Fisher 信息矩阵也用于贝叶斯统计（推导 Jeffreys 的无信息性先验概率），以及优化（作为自然梯度下降处理过程的一部分）。

源与流

得分函数（score function；又称评分函数）被定义为对数似然的梯度：

$s (θ) ≜ \nabla lo g p (x ∣ θ) (1)$

Fisher 信息矩阵（FIM）被定义为得分函数的协方差：

$F (θ) ≜ E_{x \sim p (x ∣ θ)} [\nabla lo g p (x ∣ θ) \nabla lo g p (x ∣ θ)^{T}] (2)$

因此，第 $(i, j)$ 项为：

$F_{ij} = E_{x \sim θ} [(\frac{\partial}{\partial θ _{i}} lo g p (x ∣ θ)) (\frac{\partial}{\partial θ _{j}} lo g p (x ∣ θ))] (3)$

接下来，我们将对这个统计量进行解释。

Fisher信息矩阵和负对数似然的黑塞矩阵之间的等价性

我们将证明 Fisher 信息矩阵等价于负对数似然的期望黑塞矩阵：

$NLL (θ) = - lo g p (D ∣ θ) (4)$

由于黑塞矩阵衡量了似然概率的曲率，我们看到 Fisher 信息矩阵指出了似然概率函数可以在多大程度上识别最佳参数集。（如果似然函数是平坦的，我们无法推断出任何关于参数的信息，但如果似然函数是单点的 $δ$ 函数，则最佳参数向量将被唯一确定。）因此，对于最大似然估计的不确定性，似然函数与频率学派的概念密切相关，如果我们在从模型中提取的多个不同数据集上进行计算，则期望最大似然估计中的方差会捕捉到这一点。

更确切地说，我们有以下定理。

定理：如果 $lo g p (x ∣ θ)$ 是二阶可微的，则在一定的正则性条件下，Fisher 信息矩阵等于负对数似然的期望黑塞矩阵，即 $F (θ)_{ij} ≜ E_{x \sim θ} [(\frac{\partial}{\partial θ _{i}} lo g p (x ∣ θ)) (\frac{\partial}{\partial θ _{j}} lo g p (x ∣ θ))] = E_{x \sim θ} [\frac{\partial ^{2}}{\partial θ _{i} θ _{j}} lo g p (x ∣ θ)] (5)$

在证明这个定理之前，我们先引入以下重要引理。

引理：得分函数的期望值为零。即 $E_{p (x ∣ θ)} [\nabla lo g p (x ∣ θ)] = 0 (6)$

我们在标量情况下证明了这个引理。首先，请注意，由于 $\int p (x ∣ θ) d x = 1$ ，我们有：

$\frac{\partial}{\partial θ} \int p (x ∣ θ) d x = 0 (7)$

将上式与以下恒等式相结合：

$\frac{\partial}{\partial θ} p (x ∣ θ) = [\frac{\partial}{\partial θ} lo g p (x ∣ θ)] p (x ∣ θ) (8)$

我们有：

$0 = \int \frac{\partial}{\partial θ} p (x ∣ θ) d x = \int [\frac{\partial}{\partial θ} lo g p (x ∣ θ)] p (x ∣ θ) d x = E [s (θ)] (9)$

接下来，我们回到主定理的证明。为了简单起见，我们将主要讨论标量情况，具体证明如下。

证明

求式 (9) 的导数，我们得到：

$0 = \frac{\partial}{\partial θ} \int [\frac{\partial}{\partial θ} lo g p (x ∣ θ)] p (x ∣ θ) d x = \int [\frac{\partial ^{2}}{\partial θ ^{2}} lo g p (x ∣ θ)] p (x ∣ θ) d x + \int [\frac{\partial}{\partial θ} lo g p (x ∣ θ)] \frac{\partial}{\partial θ} p (x ∣ θ) d x = \int [\frac{\partial ^{2}}{\partial θ ^{2}} lo g p (x ∣ θ)] p (x ∣ θ) d x + \int [\frac{\partial}{\partial θ} lo g p (x ∣ θ)]^{2} p (x ∣ θ) d x (10) (11)$

因此，可以证得：

$- E_{x \sim θ} [\frac{\partial ^{2}}{\partial θ ^{2}} lo g p (x ∣ θ)] = E_{x \sim θ} [(\frac{\partial}{\partial θ} lo g p (x ∣ θ))^{2}] (12)$

现在给定 $N$ 个独立同分布的样本 $D = {x_{n} : n = 1 : N}$ ，考虑该样本的负对数似然的黑塞矩阵：

$H_{ij} ≜ - \frac{\partial ^{2}}{\partial θ _{i} θ _{j}} lo g p (D ∣ θ) = - n = 1 \sum N \frac{\partial ^{2}}{\partial θ _{i} θ _{j}} lo g p (x_{n} ∣ θ) (13)$

根据上述定理，我们得到：

$E_{p (D ∣ θ)} [H (D) ∣_{θ}] = N F (θ) (14)$

这在推导最大似然估计的采样分布时很有用。

概率统计100问

NO.18.tip： Fisher信息矩阵

背景

源与流