NO.27.tip： 共轭先验

背景

我们考虑一类具有特殊形式先验模型的贝叶斯推理，称为共轭先验，这简化了后验的计算。形式上，如果后验与先验在同一参数化族中，即 $p(\mathbf{\theta }\mid \mathcal{D})\in \mathcal{F}$，那么我们称先验 $p(\mathbf{\theta })\in \mathcal{F}$ 是似然函数 $p(\mathcal{D}\mid \mathbf{\theta })$ 的共轭先验。换句话说，$\mathcal{F}$ 在贝叶斯更新下是封闭的。如果 $\mathcal{F}$ 族对应于指数族，那么计算可以以闭合形式执行。在更复杂的设置中，我们不能执行闭合形式推理，但通常可以在更大的计算管道中利用这些结果作为可处理的子程序。

源与流

单变量高斯分布模型

我们将推导单变量高斯分布的后验 $p(\mu ,{\sigma }^2\mid \mathcal{D})$。为了简单起见，我们分三个步骤来讨论：仅推理 $\mu$，仅推理 ${\sigma }^2$，然后同时推理这两个参数。

给定 ${\sigma }^2$ 时 $\mu$ 的后验

如果 ${\sigma }^2$ 是已知常数，则 $\mu$ 的似然概率为：

$$p(\mathcal{D}\mid \mu )\propto \exp \left(-\frac{1}{2{\sigma }^2}\sum _{n=1}^N(y_n-\mu {)}^2\right)\text{\hspace{1em}(1)}$$

可以证明，共轭先验是另一个高斯分布 $\mathcal{N}(\mu \mid m,{\tau }^2)$。应用高斯分布的贝叶斯规则，我们发现相应的后验由下式给出：

$$p(\mu \mid \mathcal{D},{\sigma }^2)=\mathcal{N}(\mu \mid \hat{m},{\hat{\tau }}^2)\text{\hspace{1em}(2)}$$

$${\hat{\tau }}^2=\frac{1}{\frac{N}{{\sigma }^2}+\frac{1}{{\tau }^2}}=\frac{{\sigma }^2{\tilde{\tau }}^2}{N{\tau }^2+{\sigma }^2}\text{\hspace{1em}(3)}$$

$$\hat{m}={\tau }^2\left(\frac{m}{{\tau }^2}+\frac{N\bar{y}}{{\sigma }^2}\right)=\frac{{\sigma }^2}{N{\tau }^2+{\sigma }^2}m+\frac{N{\tilde{\tau }}^2}{N{\tau }^2+{\sigma }^2}\bar{y}\text{\hspace{1em}(4)}$$

其中，$\bar{y}\triangleq \frac{1}{N}{\sum }_{n=1}^N{y}_n$ 是经验均值。

如果我们使用精度参数，那么这个结果更容易理解，而精度参数只是方差的逆。具体来说，设 $\lambda =1/{\sigma }^2$ 为观测精度，$\lambda =1/{\tau }^2$ 为先验精度。然后我们可以将后验重新改写为如下的形式：

$$p(\mu \mid \mathcal{D},\lambda )=\mathcal{N}(\mu \mid \hat{m},{\hat{\lambda }}^{-1})\text{\hspace{1em}(5)}$$

$$\hat{\lambda }=\tilde{\lambda }+N\lambda \text{\hspace{1em}(6)}$$

$$\hat{m}=\frac{N\lambda \bar{y}+\lambda m}{\hat{\lambda }}=\frac{N\lambda }{N\lambda +\lambda }\bar{y}+\frac{\lambda }{N\lambda +\lambda }m\text{\hspace{1em}(7)}$$

这些公式非常直观：后验精度 $\hat{\lambda }$ 是先验精度 $\lambda$ 加上 $N$ 个单位的测量精度 $\lambda$。此外，后验均值 $\hat{m}$ 是经验均值 $\bar{y}$ 和先验均值 $m$ 的凸组合。这表明后验均值是经验均值和先验均值之间的折中。如果相对于信号强度，先验的值较小（即相对于 $\lambda$，$\lambda$ 较小），我们给予经验均值更多的权重。如果相对于信号强度，先验的值较大（即相对于 $\lambda$，$\lambda$ 较大），我们给予先验更多的权重。还要注意的是，后验均值是用 $N\lambda \bar{x}$ 来表示的，因此有 $N$ 个精度为 $\lambda$ 的测量值，相当于有一个值为 $\bar{x}$、精度为 $N\lambda$ 的测量值。

为了进一步理解这些方程，在观察到单个数据点 $y$（因此 $N=1$）后，考虑后验。于是，后验均值可以记作以下的等价形式：

$$\hat{m}=\frac{\lambda }{\hat{\lambda }}m+\frac{\lambda }{\hat{\lambda }}y\text{\hspace{1em}(8)}$$

$$=m+\frac{\lambda }{\hat{\lambda }}(y-m)\text{\hspace{1em}(9)}$$

$$=y-\frac{\lambda }{\hat{\lambda }}(y-m)\text{\hspace{1em}(10)}$$

式(8) 是先验均值和数据的凸组合；式(9) 是向数据 $y$ 调整的先验均值；式(10) 是向先验均值调整的数据，被称为收缩估计（shrinkage estimate）。如果我们定义权重 $w=\tilde{\lambda }/\hat{\lambda }$，这更容易理解。于是，就有：

$$\hat{m}=y-w(y-m)=(1-w)y+wm\text{\hspace{1em}(11)}$$

请注意，对于高斯分布，后验均值和后验众数是相同的。因此，我们可以使用上述公式来执行最大后验估计。

给定 $\mu$ 时 ${\sigma }^2$ 的后验

如果 $\mu$ 是已知常数，则 ${\sigma }^2$ 的似然为：

$$p(\mathcal{D}\mid {\sigma }^2)\propto ({\sigma }^2{)}^{-N/2}\exp \left(-\frac{1}{2{\sigma }^2}\sum _{n=1}^N(y_n-\mu {)}^2\right)\text{\hspace{1em}(12)}$$

其中，我们不能再忽视前面的 $1/({\sigma }^2)$ 项。标准共轭先验是逆伽马分布，其定义为：

$$\mathrm{IG}({\sigma }^2\mid a,b)=\frac{b^a}{\Gamma (a)}({\sigma }^2{)}^{-(a+1)}\exp \left(-\frac{\tilde{b}}{{\sigma }^2}\right)\text{\hspace{1em}(13)}$$

将似然和先验相乘，我们可以看到，后验也是逆伽马分布：

$$p({\sigma }^2\mid \mu ,\mathcal{D})=\mathrm{IG}({\sigma }^2\mid \hat{a},\hat{b})\text{\hspace{1em}(14)}$$

$$\hat{a}=\tilde{a}+N/2\text{\hspace{1em}(15)}$$

$$\hat{b}=\tilde{b}+\frac{1}{2}\sum _{n=1}^N(y_n-\mu {)}^2\text{\hspace{1em}(16)}$$

使用 $\mathrm{IG}(a,b)$ 分布的一个小麻烦是先验的强度被编码在 $a$ 和 $b$ 中。因此，在贝叶斯统计学文献中，通常使用逆伽马分布的一种替代参数化形式，称为（缩放的）逆卡方分布（inverse chi-squared distribution）：

$${\chi }^{-2}({\sigma }^2\mid \nu ,{\tau }^2)=\mathrm{IG}\left({\sigma }^2\mid \frac{\nu }{2},\frac{\nu {\tau }^2}{2}\right)\propto ({\sigma }^2{)}^{-\nu /2-1}\exp \left(-\frac{\nu {\tau }^2}{2{\sigma }^2}\right)\text{\hspace{1em}(17)}$$

其中，$\nu$（称为自由度（degrees of freedom, dof）参数）控制先验的强度，${\tau }^2$ 对先验均值进行编码。有了这个先验，后验变为：

$$p({\sigma }^2\mid \mathcal{D},\mu )={\chi }^{-2}({\sigma }^2\mid \hat{\nu },{\hat{\tau }}^2)\text{\hspace{1em}(18)}$$

$$\hat{\nu }=\tilde{\nu }+N\text{\hspace{1em}(19)}$$

$${\hat{\tau }}^2=\frac{\nu {\tau }^2+{\sum }_{n=1}^N(y_n-\mu {)}^2}{\hat{\nu }}\text{\hspace{1em}(20)}$$

我们看到，后验自由度 $\hat{\nu }$ 是先验自由度 $\nu$ 加上 $N$，后验平方和 $\hat{\nu }{\hat{\tau }}^2$ 是先验平方和 $\nu {\tilde{\tau }}^2$ 加上数据平方和。

$\mu$ 和 ${\sigma }^2$ 的后验：共轭先验

现在假设我们希望对均值和方差进行推理。相应的共轭先验是正态逆伽马（normal inverse gamma）分布：

$$\mathrm{NIG}(\mu ,{\sigma }^2\mid m,\kappa ,a,b)\triangleq \mathcal{N}(\mu \mid m,{\sigma }^2/\kappa )\mathrm{IG}({\sigma }^2\mid a,b)\text{\hspace{1em}(21)}$$

然而，通常使用正态逆卡方（Normal Inverse Chi-squared, NIX）分布对正态逆伽马分布重新参数化，其定义如下：

$$\mathrm{NI}{\chi }^2(\mu ,{\sigma }^2\mid m,\kappa ,\nu ,{\tau }^2)\triangleq \mathcal{N}(\mu \mid m,{\sigma }^2/\kappa ){\chi }^{-2}({\sigma }^2\mid \nu ,{\tau }^2)\text{\hspace{1em}(22)}$$

$$\propto {\left(\frac{1}{{\sigma }^2}\right)}^{(\nu +3)/2}\exp \left(-\frac{\nu {\tau }^2+\kappa (\mu -m{)}^2}{2{\sigma }^2}\right)\text{\hspace{1em}(23)}$$

可以证明，其后验为：

$$p(\mu ,{\sigma }^2\mid \mathcal{D})=\mathrm{NI}{\chi }^2(\mu ,{\sigma }^2\mid \hat{m},\hat{\kappa },\hat{\nu },{\hat{\tau }}^2)\text{\hspace{1em}(24)}$$

$$\hat{m}=\frac{\kappa m+N\bar{x}}{\hat{\kappa }}\text{\hspace{1em}(25)}$$

$$\hat{\kappa }=\tilde{\kappa }+N\text{\hspace{1em}(26)}$$

$$\hat{\nu }=\tilde{\nu }+N\text{\hspace{1em}(27)}$$

$$\hat{\nu }{\hat{\tau }}^2=\nu {\tau }^2+\sum _{n=1}^N(y_n-\bar{y}{)}^2+\frac{N\kappa }{\kappa +N}(\tilde{m}-\bar{y}{)}^2\text{\hspace{1em}(28)}$$

相应的解释如下。对于 $\mu$，后验均值 $\hat{m}$ 是先验均值 $m$ 和最大似然估计 $\bar{x}$ 的凸组合；后验的强度 $\hat{\kappa }$ 是先验的强度 $\kappa$ 加上数据点 $N$ 的数量。对于 ${\sigma }^2$，我们使用平方和：后验平方和 $\hat{\nu }{\hat{\tau }}^2$ 是先验平方和 $\nu {\tau }^2$ 加上数据平方和 ${\sum }_{n=1}^N(y_n-\bar{y}{)}^2$，加上由于先验均值 $m$ 和最大似然估计 $\bar{y}$ 之间的差异而产生的项；后验的强度 $\hat{\nu }$ 是先验的强度 $\nu$ 加上数据点数量 $N$。

${\sigma }^2$ 的后验边缘为：

$$p({\sigma }^2\mid \mathcal{D})=\int p(\mu ,{\sigma }^2\mid \mathcal{D})\mathrm{d}\mu ={\chi }^{-2}({\sigma }^2\mid \hat{\nu },{\hat{\tau }}^2)\text{\hspace{1em}(29)}$$

后验均值为 $\mathbb{E}[{\sigma }^2\mid \mathcal{D}]=\frac{\hat{\nu }}{\hat{\nu }-2}{\hat{\tau }}^2$。

$\mu$ 的后验边缘具有学生分布，因为学生分布是高斯分布的（缩放）混合分布：

$$p(\mu \mid \mathcal{D})=\int p(\mu ,{\sigma }^2\mid \mathcal{D})\mathrm{d}{\sigma }^2=\mathcal{T}(\mu \mid \hat{m},{\hat{\tau }}^2/\hat{\kappa },\hat{\nu })\text{\hspace{1em}(30)}$$

后验均值为 $\mathbb{E}[\mu \mid \mathcal{D}]=\hat{m}$。

多元高斯分布模型

我们将推导多元高斯分布的后验 $p(\mathbf{\mu },\mathbf{\Sigma }\mid \mathcal{D})$。为了简单起见，我们分三个步骤来讨论：仅推理 $\mathbf{\mu }$，仅推理 $\mathbf{\Sigma }$，然后同时推理这两个参数。

给定 $\mathbf{\Sigma }$ 时 $\mathbf{\mu }$ 的后验

似然具有以下形式：

$$p(\mathcal{D}\mid \mathbf{\mu })=\mathcal{N}\left(\bar{\mathbf{y}}\mid \mathbf{\mu },\frac{1}{N}\mathbf{\Sigma }\right)\text{\hspace{1em}(31)}$$

为了简单起见，我们将使用共轭先验，在这种情况下，共轭先验是高斯分布先验。特别是，如果 $p(\mathbf{\mu })=\mathcal{N}(\mathbf{\mu }\mid \mathbf{m},\mathbf{V})$，则我们可以导出 $\mathbf{\mu }$ 的高斯分布的后验：

$$p(\mathbf{\mu }\mid \mathcal{D},\mathbf{\Sigma })=\mathcal{N}(\mathbf{\mu }\mid \hat{\mathbf{m}},\hat{\mathbf{V}})\text{\hspace{1em}(32)}$$

$${\hat{\mathbf{V}}}^{-1}={\tilde{\mathbf{V}}}^{-1}+N{\mathbf{\Sigma }}^{-1}\text{\hspace{1em}(33)}$$

$$\hat{\mathbf{m}}=\hat{\mathbf{V}}\left({\mathbf{\Sigma }}^{-1}(N\bar{\mathbf{y}})+{\mathbf{V}}^{-1}\mathbf{m}\right)\text{\hspace{1em}(34)}$$

给定 $\mathbf{\mu }$ 时 $\mathbf{\Sigma }$ 的后验

我们现在讨论如何计算 $p(\mathbf{\Sigma }\mid \mathcal{D},\mathbf{\mu })$。

似然

似然为：

$$p(\mathcal{D}\mid \mathbf{\mu },\mathbf{\Sigma })\propto |\mathbf{\Sigma }{|}^{-N/2}\exp \left(-\frac{1}{2}\sum _{n=1}^N({\mathbf{y}}_n-\mathbf{\mu }{)}^{\top }{\mathbf{\Sigma }}^{-1}({\mathbf{y}}_n-\mathbf{\mu })\right)\text{\hspace{1em}(35)}$$

可以证明：

$$\sum _{n=1}^N({\mathbf{y}}_n-\mathbf{\mu }{)}^{\top }{\mathbf{\Sigma }}^{-1}({\mathbf{y}}_n-\mathbf{\mu })=\mathrm{tr}({\mathbf{\Sigma }}^{-1}\mathbf{S})+N(\bar{\mathbf{y}}-\mathbf{\mu }{)}^{\top }{\mathbf{\Sigma }}^{-1}(\bar{\mathbf{y}}-\mathbf{\mu })\text{\hspace{1em}(36)}$$

其中：

$$\mathbf{S}\triangleq {\mathbf{S}}_{\bar{\mathbf{y}}}=\sum _{n=1}^N({\mathbf{y}}_n-\bar{\mathbf{y}})({\mathbf{y}}_n-\bar{\mathbf{y}}{)}^{\top }={\mathbf{Y}}^{\top }{\mathbf{C}}_N\mathbf{Y}\text{\hspace{1em}(37)}$$

是经验散布矩阵，${\mathbf{C}}_N$ 是中心矩阵（centering matrix）：

$${\mathbf{C}}_N\triangleq {\mathbf{I}}_N-\frac{1}{N}{1}_N{1}_N^{\top }\text{\hspace{1em}(38)}$$

因此，我们可以将似然改写为下式：

$$p(\mathcal{D}\mid \mathbf{\mu },\mathbf{\Sigma })\propto |\mathbf{\Sigma }{|}^{-N/2}\exp \left(-\frac{N}{2}(\mathbf{\mu }-\bar{\mathbf{y}}{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{\mu }-\bar{\mathbf{y}})\right)\exp \left(-\frac{1}{2}\mathrm{tr}({\mathbf{\Sigma }}^{-1}\mathbf{S})\right)\text{\hspace{1em}(39)}$$

接下来，我们将使用这种形式的似然概率。

先验

很明显，先验概率的公式如下所示：

$$p(\mathbf{\mu },\mathbf{\Sigma })=\mathcal{N}(\mathbf{\mu }\mid \mathbf{m},\mathbf{V})\mathrm{IW}(\mathbf{\Sigma }\mid \mathbf{\Psi },\nu )\text{\hspace{1em}(40)}$$

其中，$\mathrm{IW}$ 是逆威沙特分布。遗憾的是，在式(39) 的似然中，$\mathbf{\mu }$ 和 $\mathbf{\Sigma }$ 以非因子化的方式出现在一起（见第一个指数项），因此式(40) 中的因子化先验与似然不共轭。

上述先验有时被称为条件共轭（conditionally conjugate），因为条件概率 $p(\mathbf{\mu }\mid \mathbf{\Sigma })$ 和 $p(\mathbf{\Sigma }\mid \mathbf{\mu })$ 都是单独共轭。为了创建完全共轭先验，我们需要使用 $\mathbf{\mu }$ 和 $\mathbf{\Sigma }$ 相互依赖的先验。我们将使用形式为 $p(\mathbf{\mu },\mathbf{\Sigma })=p(\mathbf{\mu }\mid \mathbf{\Sigma })p(\mathbf{\Sigma })$ 的联合分布。

查看似然公式(39)，我们看到自然共轭先验具有正态逆威沙特（Normal-Inverse-Wishart, NIW）分布的形式，其定义如下：

$$\mathrm{NIW}(\mathbf{\mu },\mathbf{\Sigma }\mid \mathbf{m},\kappa ,\nu ,\mathbf{\Psi })\triangleq \mathcal{N}\left(\mathbf{\mu }\mid \mathbf{m},\frac{1}{\kappa }\mathbf{\Sigma }\right)\times \mathrm{IW}(\mathbf{\Sigma }\mid \mathbf{\Psi },\nu )\text{\hspace{1em}(41)}$$

$$=\frac{1}{Z_{\mathrm{NIW}}}|\mathbf{\Sigma }{|}^{-1/2}\exp \left(-\frac{\kappa }{2}(\mathbf{\mu }-\mathbf{m}{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{\mu }-\mathbf{m})\right)\times |\mathbf{\Sigma }{|}^{-\frac{\nu +D+1}{2}}\exp \left(-\frac{1}{2}\mathrm{tr}({\mathbf{\Sigma }}^{-1}\tilde{\mathbf{\Psi }})\right)\text{\hspace{1em}(42)}$$

其中，归一化常数定义为：

$$Z_{\mathrm{NIW}}\triangleq 2^{\nu D/2}{\Gamma }_D(\nu /2)(2\pi /\kappa {)}^{D/2}|\mathbf{\Psi }{|}^{-\tilde{\nu }/2}\text{\hspace{1em}(43)}$$

正态逆威沙特分布的参数可以解释如下：$\mathbf{m}$ 是 $\mathbf{\mu }$ 的先验均值，而 $\kappa$ 是我们对该先验均值 $\mathbf{m}$ 的信任程度；$\mathbf{\Psi }$ 是 $\mathbf{\Sigma }$ 的先验均值（二者成一定比例），而 $\nu$ 是我们对该先验均值 $\mathbf{\Psi }$ 的信任程度。

后验

为了推导后验，让我们首先将散布矩阵重写为以下的形式：

$$\mathbf{S}={\mathbf{Y}}^{\top }\mathbf{Y}-\frac{1}{N}\left(\sum _{n=1}^N{\mathbf{y}}_n\right){\left(\sum _{n=1}^N{\mathbf{y}}_n\right)}^{\top }={\mathbf{Y}}^{\top }\mathbf{Y}-N\bar{\mathbf{y}}{\bar{\mathbf{y}}}^{\top }\text{\hspace{1em}(44)}$$

其中，${\mathbf{Y}}^{\top }\mathbf{Y}={\sum }_{n=1}^N{\mathbf{y}}_n{\mathbf{y}}_n^{\top }$ 是平方和（sum of squares）矩阵。

现在，我们将似然与先验相乘，结果为：

$$p(\mathbf{\mu },\mathbf{\Sigma }\mid \mathcal{D})\propto |\mathbf{\Sigma }{|}^{-N/2}\exp \left(-\frac{N}{2}(\mathbf{\mu }-\bar{\mathbf{y}}{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{\mu }-\bar{\mathbf{y}})\right)\exp \left(-\frac{1}{2}\mathrm{tr}({\mathbf{\Sigma }}^{-1}\mathbf{S})\right)\times |\mathbf{\Sigma }{|}^{-\frac{\nu +D+2}{2}}\exp \left(-\frac{\kappa }{2}(\mathbf{\mu }-\mathbf{m}{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{\mu }-\mathbf{m})\right)\exp \left(-\frac{1}{2}\mathrm{tr}({\mathbf{\Sigma }}^{-1}\tilde{\mathbf{\Psi }})\right)\text{\hspace{1em}(45, 46)}$$

$$=|\mathbf{\Sigma }{|}^{-(N+\tilde{\nu }+D+2)/2}\exp \left(-\frac{1}{2}\mathrm{tr}({\mathbf{\Sigma }}^{-1}\mathbf{M})\right)\text{\hspace{1em}(47)}$$

其中：

$$\mathbf{M}\triangleq N(\mathbf{\mu }-\bar{\mathbf{y}})(\mathbf{\mu }-\bar{\mathbf{y}}{)}^{\top }+\kappa (\mathbf{\mu }-\mathbf{m})(\mathbf{\mu }-\mathbf{m}{)}^{\top }+\mathbf{S}+\mathbf{\Psi }\text{\hspace{1em}(48)}$$

$$=(\kappa +N)\mathbf{\mu }{\mathbf{\mu }}^{\top }-\mathbf{\mu }(\kappa \mathbf{m}+N\bar{\mathbf{y}}{)}^{\top }-(\kappa \mathbf{m}+N\bar{\mathbf{y}}){\mathbf{\mu }}^{\top }+\kappa \mathbf{m}{\mathbf{m}}^{\top }+{\mathbf{Y}}^{\top }\mathbf{Y}+\tilde{\mathbf{\Psi }}\text{\hspace{1em}(49)}$$

我们可以使用一种称为完成平方（completing the square）的技巧来简化 $\mathbf{M}$ 矩阵。将此应用于上述公式，我们得到：

$$(\kappa +N)\mathbf{\mu }{\mathbf{\mu }}^{\top }-\mathbf{\mu }(\kappa \mathbf{m}+N\bar{\mathbf{y}}{)}^{\top }-(\kappa \tilde{\mathbf{m}}+N\bar{\mathbf{y}}){\mathbf{\mu }}^{\top }\text{\hspace{1em}(50)}$$

$$=(\kappa +N)\left(\mathbf{\mu }-\frac{\kappa \mathbf{m}+N\bar{\mathbf{y}}}{\kappa +N}\right){\left(\mathbf{\mu }-\frac{\kappa \mathbf{m}+N\bar{\mathbf{y}}}{\kappa +N}\right)}^{\top }-\frac{(\kappa \mathbf{m}+N\bar{\mathbf{y}})(\kappa \mathbf{m}+N\bar{\mathbf{y}}{)}^{\top }}{\kappa +N}\text{\hspace{1em}(51)}$$

$$=\hat{\kappa }(\mathbf{\mu }-\hat{\mathbf{m}})(\mathbf{\mu }-\hat{\mathbf{m}}{)}^{\top }-\hat{\kappa }\hat{\mathbf{m}}{\hat{\mathbf{m}}}^{\top }\text{\hspace{1em}(52)}$$

因此，我们可以将后验重写为以下的形式：

$$p(\mathbf{\mu },\mathbf{\Sigma }\mid \mathcal{D})\propto |\mathbf{\Sigma }{|}^{-(\hat{\nu }+D+2)/2}\exp \left(-\frac{1}{2}\mathrm{tr}\left[{\mathbf{\Sigma }}^{-1}\left(\hat{\kappa }(\mathbf{\mu }-\hat{\mathbf{m}})(\mathbf{\mu }-\hat{\mathbf{m}}{)}^{\top }+\hat{\mathbf{\Psi }}\right)\right]\right)\text{\hspace{1em}(53)}$$

$$=\mathrm{NIW}(\mathbf{\mu },\mathbf{\Sigma }\mid \hat{\mathbf{m}},\hat{\kappa },\hat{\nu },\hat{\mathbf{\Psi }})\text{\hspace{1em}(54)}$$

其中：

$$\hat{\mathbf{m}}=\frac{\kappa \mathbf{m}+N\bar{\mathbf{y}}}{\hat{\kappa }}=\frac{\kappa }{\kappa +N}\mathbf{m}+\frac{N}{\kappa +N}\bar{\mathbf{y}}\text{\hspace{1em}(55)}$$

$$\hat{\kappa }=\tilde{\kappa }+N\text{\hspace{1em}(56)}$$

$$\hat{\nu }=\tilde{\nu }+N\text{\hspace{1em}(57)}$$

$$\hat{\mathbf{\Psi }}=\mathbf{\Psi }+\mathbf{S}+\frac{\kappa N}{\kappa +N}(\bar{\mathbf{y}}-\mathbf{m})(\bar{\mathbf{y}}-\tilde{\mathbf{m}}{)}^{\top }\text{\hspace{1em}(58)}$$

$$=\mathbf{\Psi }+{\mathbf{Y}}^{\top }\mathbf{Y}+\kappa \mathbf{m}{\mathbf{m}}^{\top }-\hat{\kappa }\hat{\mathbf{m}}{\hat{\mathbf{m}}}^{\top }\text{\hspace{1em}(59, 60)}$$

这个结果实际上是非常直观的：后验均值 $\hat{\mathbf{m}}$ 是先验均值和最大似然估计的凸组合；后验散布矩阵 $\hat{\mathbf{\Psi }}$ 是先验散布矩阵 $\tilde{\mathbf{\Psi }}$ 加上经验散布矩阵 $\mathbf{S}$ 加上由于均值的不确定性而产生的额外项（从而产生了自己的虚拟散布矩阵）；后验置信因子 $\hat{\kappa }$ 和 $\hat{\nu }$ 都随着我们所依赖数据的增加而增大。

后验边缘

我们计算了联合后验：

$$p(\mathbf{\mu },\mathbf{\Sigma }\mid \mathcal{D})=\mathcal{N}(\mathbf{\mu }\mid \hat{\mathbf{m}},\frac{1}{\hat{\kappa }}\mathbf{\Sigma })\mathrm{IW}(\mathbf{\Sigma }\mid \hat{\mathbf{\Psi }},\hat{\nu })\text{\hspace{1em}(61)}$$

我们现在讨论如何计算后验边缘 $p(\mathbf{\Sigma }\mid \mathcal{D})$ 和 $p(\mathbf{\mu }\mid \mathcal{D})$。

很容易看出，$\mathbf{\Sigma }$ 的后验边缘为：

$$p(\mathbf{\Sigma }\mid \mathcal{D})=\int p(\mathbf{\mu },\mathbf{\Sigma }\mid \mathcal{D})\mathrm{d}\mathbf{\mu }=\mathrm{IW}(\mathbf{\Sigma }\mid \hat{\mathbf{\Psi }},\hat{\nu })\text{\hspace{1em}(62)}$$

对于均值，我们可以证明：

$$p(\mathbf{\mu }\mid \mathcal{D})=\int p(\mathbf{\mu },\mathbf{\Sigma }\mid \mathcal{D})\mathrm{d}\mathbf{\Sigma }=\mathcal{T}\left(\mathbf{\mu }\mid \hat{\mathbf{\mu }},\frac{\hat{\mathbf{\Psi }}}{\hat{\kappa }{\hat{\nu }}^{\prime }},{\hat{\nu }}^{\prime }\right)\text{\hspace{1em}(63)}$$

其中，${\hat{\nu }}^{\prime }\triangleq \hat{\nu }-D+1$。直观上，这一结果是因为 $p(\mathbf{\mu }\mid \mathcal{D})$ 是高斯分布的无限混合模型，其中每个混合分量都有一个从逆威沙特分布中得出的值 $\mathbf{\Sigma }$；通过将这些值混合在一起，我们得到了一个学生 t 分布，该分布比单个高斯分布具有更重的尾部。

后验众数

$\mathbf{\mu }$ 和 $\mathbf{\Sigma }$ 的最大后验估计为：

$$p(\mathbf{\mu },\mathbf{\Sigma }\mid \mathbf{Y})=\mathcal{N}(\mathbf{\mu }\mid \hat{\mathbf{\mu }},{\hat{\kappa }}^{-1}\mathbf{\Sigma })\mathrm{IW}(\mathbf{\Sigma }\mid \hat{\nu },\hat{\mathbf{\Psi }})\text{\hspace{1em}(64)}$$

为了找到该众数，我们首先注意到 $\mathbf{\mu }$ 只出现在条件分布 $\mathcal{N}(\mathbf{\mu }\mid \hat{\mathbf{\mu }},{\hat{\kappa }}^{-1}\mathbf{\Sigma })$ 中，并且该正态分布的众数等于其平均值，即 $\mathbf{\mu }=\hat{\mathbf{\mu }}$。还要注意，这适用于任何 $\mathbf{\Sigma }$。因此，我们可以将 $\mathbf{\mu }=\hat{\mathbf{\mu }}$ 代入式(64) 中，并推导出 $\mathbf{\Sigma }$ 的众数。请注意：

$$-2\log p(\mathbf{\mu }=\hat{\mathbf{\mu }},\mathbf{\Sigma }\mid \mathbf{Y})=(\hat{\nu }+D+2)\log (|\mathbf{\Sigma }|)+\mathrm{tr}(\hat{\mathbf{\Psi }}{\mathbf{\Sigma }}^{-1})+c\text{\hspace{1em}(65)}$$

其中，$c$ 是与 $\mathbf{\Sigma }$ 无关的常数。然后，我们取关于 $\mathbf{\Sigma }$ 的导数：

$$\frac{\partial \log p(\mathbf{\mu }=\hat{\mathbf{\mu }},\mathbf{\Sigma }\mid \mathbf{Y})}{\partial \mathbf{\Sigma }}=(\hat{\nu }+D+2){\mathbf{\Sigma }}^{-1}-{\mathbf{\Sigma }}^{-1}\hat{\mathbf{\Psi }}{\mathbf{\Sigma }}^{-1}\text{\hspace{1em}(66)}$$

通过将导数设为 0 并求解 $\mathbf{\Sigma }$，我们发现，$(\hat{\nu }+D+2{)}^{-1}\hat{\mathbf{\Psi }}$ 是使式(65) 最大化的矩阵。

通过检查发现 $\hat{\mathbf{\Psi }}$ 为正定矩阵，我们得出 $\hat{\mathbf{\Psi }}$ 为协方差矩阵 $\mathbf{\Sigma }$ 的最大后验估计。

总之，$\{\mathbf{\mu },\mathbf{\Sigma }\}$ 的最大后验估计为：

$$\hat{\mathbf{\mu }}=\frac{\kappa \tilde{\mathbf{m}}+N\bar{\mathbf{y}}}{\kappa +N}\text{\hspace{1em}(67)}$$

$$\hat{\mathbf{\Sigma }}=\frac{1}{\hat{\nu }+D+2}\hat{\mathbf{\Psi }}\text{\hspace{1em}(68)}$$

后验预测

我们现在讨论如何通过对参数进行积分来预测未来的数据。如果 $\mathbf{y}\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$，其中 $(\mathbf{\mu },\mathbf{\Sigma }\mid \mathcal{D})\sim \mathrm{NIW}(\hat{\mathbf{m}},\hat{\kappa },\hat{\nu },\hat{\mathbf{\Psi }})$，则可以证明，对于单个观测向量，后验预测分布如下：

$$p(\mathbf{y}\mid \mathcal{D})=\int \mathcal{N}(\mathbf{x}\mid \mathbf{\mu },\mathbf{\Sigma })\mathrm{NIW}(\mathbf{\mu },\mathbf{\Sigma }\mid \hat{\mathbf{m}},\hat{\kappa },\hat{\nu },\hat{\mathbf{\Psi }})\mathrm{d}\mathbf{\mu }\mathrm{d}\mathbf{\Sigma }\text{\hspace{1em}(69)}$$

$$=\mathcal{T}\left(\mathbf{y}\mid \hat{\mathbf{m}},\frac{\hat{\mathbf{\Psi }}(\hat{\kappa }+1)}{\hat{\kappa }{\hat{\nu }}^{\prime }},{\hat{\nu }}^{\prime }\right)\text{\hspace{1em}(70)}$$

其中，${\hat{\nu }}^{\prime }=\hat{\nu }-D+1$。

指数族模型

我们已经看到，如果先验与似然共轭，那么精确的贝叶斯分析会大大简化。由于后验函数必须具有与先验函数相同的形式，因此参数数量也相同，也即似然函数必须具有固定大小的充分统计量，这样我们就可以记作 $p(\mathcal{D}\mid \mathbf{\theta })=p(\mathbf{s}(\mathcal{D})\mid \mathbf{\theta })$。这表明，唯一存在共轭先验的分布族是指数族，接下来，我们将展示如何对通用指数族模型进行共轭分析。

似然

回想一下，指数族的似然为：

$$p(\mathcal{D}\mid \mathbf{\eta })=h(\mathcal{D})\exp ({\mathbf{\eta }}^{\top }\mathbf{s}(\mathcal{D})-N\mathbf{A}(\mathbf{\eta }))\text{\hspace{1em}(71)}$$

其中，$\mathbf{s}(\mathcal{D})={\sum }_{n=1}^N\mathbf{s}({\mathbf{x}}_n)$，$h(\mathcal{D})\triangleq {\prod }_{n=1}^{N}h({\mathbf{x}}_n)$。

先验

对照似然的形式，我们可以定义先验：

$$p(\mathbf{\eta }\mid \mathbf{\tau },\nu )=\frac{1}{Z(\mathbf{\tau },\nu )}\exp ({\mathbf{\tau }}^{\top }\mathbf{\eta }-\nu \mathbf{A}(\mathbf{\eta }))\text{\hspace{1em}(72)}$$

其中，$\nu$ 是先验的强度，$\mathbf{\tau }/\nu$ 是先验的均值，$Z(\mathbf{\tau },\nu )$ 是归一化因子。可以从表示先验信念的虚拟样本（virtual sample）中推导出参数 $\mathbf{\tau }$。

后验

后验由下式给出：

$$p(\mathbf{\eta }\mid \mathcal{D})=\frac{p(\mathcal{D}\mid \mathbf{\eta })p(\mathbf{\eta })}{p(\mathcal{D})}\text{\hspace{1em}(73)}$$

$$=\frac{h(\mathcal{D})}{Z(\mathbf{\tau },\nu )p(\mathcal{D})}\exp \left((\mathbf{\tau }+\mathbf{s}(\mathcal{D}){)}^{\top }\mathbf{\eta }-(\nu +N)\mathbf{A}(\mathbf{\eta })\right)\text{\hspace{1em}(74)}$$

$$=\frac{1}{Z(\hat{\mathbf{\tau }},\hat{\nu })}\exp ({\hat{\mathbf{\tau }}}^{\top }\mathbf{\eta }-\hat{\nu }\mathbf{A}(\mathbf{\eta }))\text{\hspace{1em}(75)}$$

其中：

$$\hat{\mathbf{\tau }}=\tilde{\mathbf{\tau }}+\mathbf{s}(\mathcal{D})\text{\hspace{1em}(76)}$$

$$\hat{\nu }=\tilde{\nu }+N\text{\hspace{1em}(77)}$$

$$Z(\hat{\mathbf{\tau }},\hat{\nu })=\frac{Z(\mathbf{\tau },\nu )}{h(\mathcal{D})}p(\mathcal{D})\text{\hspace{1em}(78)}$$

我们发现，这与之前的先验形式相同，但我们更新了充分统计量和样本容量。

后验均值由先验均值和经验均值（即最大似然估计）的凸组合给出：

$$\mathbb{E}[\mathbf{\eta }\mid \mathcal{D}]=\frac{\hat{\mathbf{\tau }}}{\hat{\nu }}=\frac{\mathbf{\tau }+\mathbf{s}(\mathcal{D})}{\nu +N}=\frac{\nu }{\nu +N}\frac{\mathbf{\tau }}{\nu }+\frac{N}{\tilde{\nu }+N}\frac{\mathbf{s}(\mathcal{D})}{N}\text{\hspace{1em}(79)}$$

$$=\lambda \mathbb{E}[\mathbf{\eta }]+(1-\lambda ){\hat{\mathbf{\eta }}}_{\mathrm{mle}}$$

其中，$\lambda =\frac{\nu }{\nu +N}$。

边缘似然

从式(78) 中我们可以看出，边缘似然由下式给出：

$$p(\mathcal{D})=\frac{Z(\mathbf{\tau },\nu )h(\mathcal{D})}{Z(\hat{\mathbf{\tau }},\hat{\nu })}\text{\hspace{1em}(80)}$$

后验预测密度

现在，在给定过去数据 ${\mathcal{D}}^{\prime }=({\mathbf{x}}_1,\dots ,{\mathbf{x}}_{N^{\prime }})$ 的情况下，我们将推导未来可观测值 $\mathcal{D}=({\mathbf{x}}_1,\dots ,{\mathbf{x}}_N)$ 的预测密度：

$$p({\mathcal{D}}^{\prime }\mid \mathcal{D})=\int p({\mathcal{D}}^{\prime }\mid \mathbf{\eta })p(\mathbf{\eta }\mid \mathcal{D})\mathrm{d}\mathbf{\eta }\text{\hspace{1em}(81)}$$

$$=\int h({\mathcal{D}}^{\prime })\exp ({\mathbf{\eta }}^{\top }\mathbf{s}({\mathcal{D}}^{\prime })-N^{\prime }\mathbf{A}(\mathbf{\eta }))\frac{1}{Z(\mathbf{\tau },\nu )}\exp ({\mathbf{\tau }}^{\top }\mathbf{\eta }-\nu \mathbf{A}(\mathbf{\eta }))\mathrm{d}\mathbf{\eta }\text{\hspace{1em}(82)}$$

$$=h({\mathcal{D}}^{\prime })\frac{Z(\mathbf{\tau }+\mathbf{s}(\mathcal{D})+\mathbf{s}({\mathcal{D}}^{\prime }),\nu +N+N^{\prime })}{Z(\mathbf{\tau }+\mathbf{s}(\mathcal{D}),\nu +N)}\text{\hspace{1em}(83)}$$