NO.7.tip: 指数族分布

背景

  指数分布在统计结构中占用重要地位，他得成员具有许多共同的重要性质，对这些性质的一般性讨论可以带来不少启发。

  给定参数 $\mathbf{\eta }$，关于 $\mathbf{x}$ 的指数族分布可以定义为以下形式的分布的集合：

$$p(\mathbf{x}\mid \mathbf{\eta })=h(\mathbf{x})g(\mathbf{\eta })\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\mathbf{u}(\mathbf{x})\right\}\text{\hspace{1em}(1)}$$

其中 $\mathbf{x}$ 可以是标量或矢量，它可以是离散的或连续的。$\mathbf{\eta }$ 则称为分布的自然参数，$\mathbf{u}(\mathbf{x})$ 是 $\mathbf{x}$ 的某个函数。函数 $g(\mathbf{\eta })$ 可以解释为用来确保分布被归一化的系数，因此满足

$$g(\mathbf{\eta })\int h(\mathbf{x})\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\mathbf{u}(\mathbf{x})\right\}\mathrm{d}\mathbf{x}=1\text{\hspace{1em}(2)}$$

其中 $\mathbf{x}$ 若为离散变量，则积分改为求和。

源与流

  首先考虑伯努利分布：

$$p(x\mid \mu )=\mathrm{Bern}(x\mid \mu )={\mu }^x(1-\mu {)}^{1-x}\text{\hspace{1em}(3)}$$

  将式 (3) 的右侧表示为对数的指数，可得

$$\begin{array}{rl}p(x\mid \mu )& =\exp \{x\ln \mu +(1-x)\ln (1-\mu )\}\\ & =(1-\mu )\exp \left\{\ln \left(\frac{\mu }{1-\mu }\right)x\right\}\end{array}\text{\hspace{1em}(4)}$$

  与式 (1) 比较后，我们可以确定

$$\eta =\ln \left(\frac{\mu }{1-\mu }\right)\text{\hspace{1em}(5)}$$

  对 $\mu$ 进行求解可得 $\mu =\sigma (\eta )$，其中

$$\sigma (\eta )=\frac{1}{1+\exp (-\eta )}\text{\hspace{1em}(6)}$$

  它又称为sigmoid 函数。因此，我们可以使用以下标准表达式来描述伯努利分布：

$$p(x\mid \eta )=\sigma (-\eta )\exp (\eta x)\text{\hspace{1em}(7)}$$

  这里使用了等式 $1-\sigma (\eta )=\sigma (-\eta )$，其易由式 (6) 证得。与式 (1) 比较可得

$$u(x)=x\text{\hspace{1em}(8)}$$

$$h(x)=1\text{\hspace{1em}(9)}$$

$$g(\eta )=\sigma (-\eta )\text{\hspace{1em}(10)}$$

  接下来考虑多项分布，对于单个观测 $\mathbf{x}$，其形式为

$$p(\mathbf{x}\mid \mathbf{\mu })=\prod _{k=1}^M{\mu }_k^{x_k}=\exp \left\{\sum _{k=1}^M{x}_k\ln {\mu }_k\right\}\text{\hspace{1em}(11)}$$

  其中 $\mathbf{x}=(x_1,\cdots ,x_M{)}^{\mathrm{T}}$。式 (11) 同样可以写成标准表达式：

$$p(\mathbf{x}\mid \mathbf{\eta })=\exp ({\mathbf{\eta }}^{\mathrm{T}}\mathbf{x})\text{\hspace{1em}(12)}$$

  其中 ${\eta }_k=\ln {\mu }_k$，并且我们定义 $\mathbf{\eta }=({\eta }_1,\cdots ,{\eta }_M{)}^{\mathrm{T}}$。与式 (1) 比较可得

$$\mathbf{u}(\mathbf{x})=\mathbf{x}\text{\hspace{1em}(13)}$$

$$h(\mathbf{x})=1\text{\hspace{1em}(14)}$$

$$g(\mathbf{\eta })=1\text{\hspace{1em}(15)}$$

  注意，参数 ${\eta }_k$ 不是独立的，因为参数 ${\mu }_k$ 受到下式的约束：

$$\sum _{k=1}^M{\mu }_k=1\text{\hspace{1em}(16)}$$

  因此，对于给定的任意 $M-1$ 个参数 ${\mu }_k$，剩余参数的值被固定。在某些情况下，通过仅用 $M-1$ 个参数表达分布，可以方便地去除这一约束。这可以通过使用关系式 (16) 将 ${\mu }_M$ 用剩余的 $\{{\mu }_k\}$（其中 $k=1,\cdots ,M-1$）表示，从而留下 $M-1$ 个参数来实现。请注意，这些剩余参数仍然受到下式的约束：

$$0⩽{\mu }_k⩽1,\sum _{k=1}^{M-1}{\mu }_k⩽1\text{\hspace{1em}(17)}$$

  利用约束式 (16)，多项分布变为

$$\begin{array}{rl}& \exp \left\{\sum _{k=1}^M{x}_k\ln {\mu }_k\right\}\\ & =\exp \left\{\sum _{k=1}^{M-1}{x}_k\ln {\mu }_k+\left(1-\sum _{k=1}^{M-1}{x}_k\right)\ln \left(1-\sum _{k=1}^{M-1}{\mu }_k\right)\right\}\\ & =\exp \left\{\sum _{k=1}^{M-1}{x}_k\ln \left(\frac{{\mu }_k}{1-{\sum }_{j=1}^{M-1}{\mu }_j}\right)+\ln \left(1-\sum _{k=1}^{M-1}{\mu }_k\right)\right\}\end{array}\text{\hspace{1em}(18)}$$

  现在我们确定了

$$\ln \left(\frac{{\mu }_k}{1-{\sum }_j{\mu }_j}\right)={\eta }_k\text{\hspace{1em}(19)}$$

  可以通过首先对式 (19) 两边的 $k$ 求和，然后重新排列和反向代入来求解 $k$：

$${\mu }_k=\frac{\exp ({\eta }_k)}{1+{\sum }_j\exp ({\eta }_j)}\text{\hspace{1em}(20)}$$

  它又称为softmax 函数或归一化指数。因此在这种表示中，多项分布将采用以下形式：

$$p(\mathbf{x}\mid \mathbf{\eta })={\left(1+\sum _{k=1}^{M-1}\exp ({\eta }_k)\right)}^{-1}\exp ({\mathbf{\eta }}^{\mathrm{T}}\mathbf{x})\text{\hspace{1em}(21)}$$

  这是带有参数向量 $\mathbf{\eta }=({\eta }_1,\cdots ,{\eta }_{M-1}{)}^{\mathrm{T}}$ 的指数族分布的标准形式。与式 (1) 比较可得

$$\mathbf{u}(\mathbf{x})=\mathbf{x}\text{\hspace{1em}(22)}$$

$$h(\mathbf{x})=1\text{\hspace{1em}(23)}$$

$$g(\mathbf{\eta })={\left(1+\sum _{k=1}^{M-1}\exp ({\eta }_k)\right)}^{-1}\text{\hspace{1em}(24)}$$

  最后考虑高斯分布。对于一元高斯分布，我们有

$$p(x\mid \mu ,{\sigma }^2)=\frac{1}{(2\pi {\sigma }^2{)}^{1/2}}\exp \left\{-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right\}\text{\hspace{1em}(25)}$$

$$=\frac{1}{(2\pi {\sigma }^2{)}^{1/2}}\exp \left\{-\frac{1}{2{\sigma }^2}{x}^2+\frac{\mu }{{\sigma }^2}x-\frac{1}{2{\sigma }^2}{\mu }^2\right\}\text{\hspace{1em}(26)}$$

  经过一些简单的重排，就可以得到标准指数族分布的形式：

$$\mathbf{\eta }=\left(\begin{array}{c}\mu /{\sigma }^2\\ -1/2{\sigma }^2\end{array}\right)\text{\hspace{1em}(27)}$$

$$\mathbf{u}(x)=\left(\begin{array}{c}x\\ x^2\end{array}\right)\text{\hspace{1em}(28)}$$

$$h(x)=(2\pi {)}^{-1/2}\text{\hspace{1em}(29)}$$

$$g(\mathbf{\eta })=(-2{\eta }_2{)}^{1/2}\exp \left(\frac{{\eta }_1^2}{4{\eta }_2}\right)\text{\hspace{1em}(30)}$$

  指数族分布在参数估计时具有很实际的性质，即它天然给出最小充分统计量（这来源于费曼分解定理），做参数估计时，只需要保存充分统计量，不需要存全部原始数据，大数据场景极致节省内存。