NO.28.tip： 无信息先验

背景

当我们几乎没有或根本没有特定领域的知识时，最好使用非信息性（uninformative）、无信息性（noninformative）或客观性（objective）先验，"让数据自己说话"。遗憾的是，没有唯一的方法来定义这样的先验，它们都编码了某种知识。因此，最好使用术语扩散先验（diffuse prior）、最少信息性先验（minimally informative prior）或默认先验（default prior）。

源与流

设 $\theta$ 是具有先验 $p_{\theta }(\theta )$ 的随机变量，并且设 $\varphi =f(\theta )$ 是 $\theta$ 的一些可逆变换。我们希望选择一个对函数 $f$ 保持不变（invariant）的先验，这样后验就不依赖于我们如何对模型进行参数化。

例如，考虑比率参数为 $\theta$ 的伯努利分布。假设 Alice 使用二项式似然和数据 $\mathcal{D}$，并计算 $p(\theta \mid \mathcal{D})$。现在假设 Bob 使用相同的似然和数据，但根据比率参数 $\varphi =\frac{\theta }{1-\theta }$ 对模型进行参数化。Bob 使用变量变化公式将 Alice 的先验转换为 $p(\varphi )$，然后计算 $p(\varphi \mid \mathcal{D})$。如果随后转换回 $\theta$ 参数化，那么 Bob 应该得到与 Alice 相同的结果。

只要使用 Jeffreys 先验（以 Harold Jeffreys 命名），我们就可以实现这一目标。在一维数据中，Jeffreys 的先验为 $p(\theta )\propto \sqrt{F(\theta )}$，其中 $F$ 是 Fisher 信息。在多维数据中，Jeffreys 的先验的形式为 $p(\mathbf{\theta })\propto \sqrt{\det \mathbf{F}(\mathbf{\theta })}$，其中 $\mathbf{F}$ 是 Fisher 信息矩阵（式 (5) 节）。

为了理解为什么 Jeffreys 先验对参数化是不变的，请考虑一维数据的情况。假设 $p_{\theta }(\theta )\propto \sqrt{F(\theta )}$。利用变量的变化，我们可以导出 $\varphi$ 的相应先验，如下所示：

$$p_{\varphi }(\varphi )=p_{\theta }(\theta )\left|\frac{\mathrm{d}\theta }{\mathrm{d}\varphi }\right|\text{\hspace{1em}(1)}$$

$$\propto \sqrt{F(\theta ){\left(\frac{\mathrm{d}\theta }{\mathrm{d}\varphi }\right)}^2}=\sqrt{\mathbb{E}\left[{\left(\frac{\mathrm{d}\log p(x\mid \theta )}{\mathrm{d}\theta }\right)}^2\right]{\left(\frac{\mathrm{d}\theta }{\mathrm{d}\varphi }\right)}^2}\text{\hspace{1em}(2)}$$

$$=\sqrt{\mathbb{E}\left[{\left(\frac{\mathrm{d}\log p(x\mid \theta )}{\mathrm{d}\theta }\frac{\mathrm{d}\theta }{\mathrm{d}\varphi }\right)}^2\right]}=\sqrt{\mathbb{E}\left[{\left(\frac{\mathrm{d}\log p(x\mid \varphi )}{\mathrm{d}\varphi }\right)}^2\right]}\text{\hspace{1em}(3)}$$

$$=\sqrt{F(\varphi )}\text{\hspace{1em}(4)}$$

因此，无论我们使用 $\theta$ 参数化还是 $\varphi$ 参数化，先验都是相同的。

接下来，我们将列举一些 Jeffreys 先验的例子。

单变量高斯均值和方差的 Jeffreys 先验

考虑两个参数都未知的一维高斯分布 $x\sim \mathcal{N}(\mu ,{\sigma }^2)$，因此 $\mathbf{\theta }=(\mu ,\sigma )$。根据式 (5)，Fisher 信息矩阵为：

$$\mathbf{F}(\mathbf{\theta })=\left(\begin{array}{cc}1/{\sigma }^2& 0\\ 0& 2/{\sigma }^2\end{array}\right)\text{\hspace{1em}(6)}$$

因此，$\sqrt{\det (\mathbf{F}(\mathbf{\theta }))}=\sqrt{\frac{2}{{\sigma }^4}}$。然而，高斯分布的标准 Jeffreys 无信息性先验被定义为独立的无信息先验的乘积，即

$$p(\mu ,{\sigma }^2)\propto p(\mu )p({\sigma }^2)\propto 1/{\sigma }^2\text{\hspace{1em}(7)}$$

事实证明，我们可以使用共轭正态逆卡方先验来模拟这个先验：

$$p(\mu ,{\sigma }^2)=\mathrm{NI}{\chi }^2(\mu ,{\sigma }^2\mid {\mu }_0=0,\kappa =0,\nu =-1,{\tilde{\sigma }}^2=0)\text{\hspace{1em}(8)}$$

这使我们可以很容易地重用高斯共轭分析的结果。

不变性先验

位置-尺度分布族（location-scale family）是由位置 $\mu$ 和尺度 $\sigma$ 进行参数化的概率分布族。如果 $x$ 是该概率分布族中的随机变量，那么 $y=a+bx$ 也是相同概率分布族中的随机变量。

在推断位置参数 $\mu$ 时，直观上，我们希望使用平移不变性先验（translation-invariant prior）是合理的，因为平移不变性先验满足这样的性质，即分配给任何区间 $[A,B]$ 的概率质量与分配给任何其他相同宽度平移区间（例如 $[A-c,B-c]$）的概率质量相同。也就是说，

$${\int }_{A-c}^{B-c}p(\mu )\mathrm{d}\mu ={\int }_A^{B}p(\mu )\mathrm{d}\mu \text{\hspace{1em}(9)}$$

这可以使用下式来实现：

$$p(\mu )\propto 1\text{\hspace{1em}(10)}$$

因为：

$${\int }_{A-c}^{B-c}1\mathrm{d}\mu =(B-c)-(A-c)=(B-A)={\int }_A^{B}1\mathrm{d}\mu \text{\hspace{1em}(11)}$$

这与具有未知均值 $\mu$ 和固定方差的高斯分布 Jeffreys 先验相同。这是因为 $F(\mu )=1/{\sigma }^2\propto 1$，根据式 (5)，因此 $p(\mu )\propto 1$。

尺度不变性先验

在推断尺度参数 $\sigma$ 时，我们可能希望使用尺度不变性先验（scale-invariant prior）。尺度不变性先验的性质满足分配给任何区间 $[A,B]$ 的概率质量与分配给任何其他区间 $[A/c,B/c]$ 的概率相同，其中 $c>0$。也就是说，

$${\int }_{A/c}^{B/c}p(\sigma )\mathrm{d}\sigma ={\int }_A^{B}p(\sigma )\mathrm{d}\sigma \text{\hspace{1em}(12)}$$

这可以使用下式来实现：

$$p(\sigma )\propto 1/\sigma \text{\hspace{1em}(13)}$$

于是：

$${\int }_{A/c}^{B/c}\frac{1}{\sigma }\mathrm{d}\sigma =[\log \sigma {]}_{A/c}^{B/c}=\log (B/c)-\log (A/c)=\log (B)-\log (A)={\int }_A^B\frac{1}{\sigma }\mathrm{d}\sigma \text{\hspace{1em}(14)}$$

这与具有固定均值 $\mu$ 和未知尺度 $\sigma$ 的高斯分布 Jeffreys 先验相同。这是因为 $F(\sigma )=2/{\sigma }^2$，根据式 (5)，因此 $p(\sigma )\propto 1/\sigma$。

学习不变性先验

只要已知希望模型满足的某种不变性，那么我们就可以使用这种不变性来编码相应的先验。在某些情况下，可以通过解析方法来完成。当无法采用解析方法来求解时，可以通过求解变分优化问题来学习不变性先验。

参照先验

定义无信息性先验的一种方法是，当在数据集上进行平均时，将其定义为与所有可能的后验相距最远的分布。这是参照先验（reference prior）的基本思想。更准确地说，我们称 $p(\mathbf{\theta })$ 是一个参照先验，如果该先验最大化了后验和先验之间的预期 KL 散度：

$$p^{\ast }(\mathbf{\theta })=\arg \underset{p(\mathbf{\theta })}{\max }{\int }_{\mathcal{D}}p(\mathcal{D})D_{\mathrm{KL}}(p(\mathbf{\theta }\mid \mathcal{D})\Vert p(\mathbf{\theta }))\mathrm{d}\mathcal{D}\text{\hspace{1em}(15)}$$

其中，$p(\mathcal{D})=\int p(\mathcal{D}\mid \mathbf{\theta })p(\mathbf{\theta })\mathrm{d}\mathbf{\theta }$。这与最大化互信息 $\mathbb{I}(\mathbf{\theta },\mathcal{D})$ 相同。

我们可以消除数据集上的积分，请注意：

$$\int p(\mathcal{D})\int p(\mathbf{\theta }\mid \mathcal{D})\log \frac{p(\mathbf{\theta }\mid \mathcal{D})}{p(\mathbf{\theta })}=\int p(\mathbf{\theta })\int p(\mathcal{D}\mid \mathbf{\theta })\log \frac{p(\mathcal{D}\mid \mathbf{\theta })}{p(\mathcal{D})}={\mathbb{E}}_{\mathbf{\theta }}[D_{\mathrm{KL}}(p(\mathcal{D}\mid \mathbf{\theta })\Vert p(\mathcal{D}))]\text{\hspace{1em}(16)}$$

其中，我们使用了 $\frac{p(\mathbf{\theta }\mid \mathcal{D})}{p(\mathbf{\theta })}=\frac{p(\mathcal{D}\mid \mathbf{\theta })}{p(\mathcal{D})}$ 这一事实。

可以证明，在一维数据中，相应的先验等价于 Jeffreys 先验。在更高的数据维度中，我们可以使用链式法则一次计算一个参数的参照先验。然而，其计算可能会比较复杂。