NO.3.tip: 最大似然估计

背景

  最大似然估计是统计中的一个重要理论框架，作为一门优化技术，他用最朴素的表达--凸优化--描绘了机器学习的万里长卷

源与流

  首先，我们了解一下什么是似然函数。考虑$R^m$上的一族概率分布，每个概率分布对应一个向量$x\in R^n$，概率密度为$p_x(.)$。固定$y\in R^m$，$p_x(y)$可以看成$x$的函数，成为似然函数。事实上，考虑似然函数的对数更为方便，我们称为对数-似然函数，用$l$表示，即$$l(x)=log{p}_x(y)$$ 通常对参数$x$都有一些曰肃，可以作为x的先验知识，或者是似然函数的定义域。

  现在考虑如下问题，根据观测到的服从分布的一个样本$y$，估计参数$x$的值。最大似然估计就是一种广为采用的方法，其中参数$x$的估计为 $${\hat{x}}_{ml}=argma{x}_x{p}_x(y)=argma{x}_{x}l(x)$$ 即选择使得似然（或者对数似然）函数在$y$的观测值处最大的那个参数值作为$x$的估计只。如果我们有关于$x$的先验信息，比如说$x\in C\subseteq R^n$，我们可以显示添加约束$xinC$，或者隐式添加约束，当$x\notin C$时，定义$p_x(y)$为$D$。

  求取参数向量$x$的最大似然估计问题可以表述如下： $$\begin{array}{r}maximizel(x)=log{p}_x(y)\\ subjecttox\in C\end{array}$$ 其中$x\in C$给出了参数向量$x$的先验信息或者其他约束。在这个优化问题中，向量$x\in R^n$（在概率密度中是参数）是优化变量，向量$y\in R^m$（观测到样本）是问题参数。

  对于$y$的每个观测值，如果对数-似然函数$l$都是凹的，且集合$C$可以表述为线性等式约束以及凸不等式约束的组合，那么最大似然估计问题是凸优化问题。事实上，很多这一类问题都满足这个条件。对这些问题，可以通过凸优化确定最大似然估计。

  现在，我们已经清楚了最大似然估计的优化表达，如何应用到具体算法场景中呢？不要着急，我们需要加入一个叫$IID$（独立同分布）的假设，才能让足底啊似然估计真正落地。

  考虑线性测量模型 $$y_i{\alpha }_i^T+v_i,i=1,...,m$$ 其中，$x\in R^m$是待估计参数向量，$y_i\in R$是测量量或观测量，$v_i$是测量误差或者噪声。假设$v_i$独立同分布$(IID)$，在$R$上具有概率密度$p$，此时似然函数为 $$p_x(y)=\prod _{i=-1}^{m}p(y_i-{\alpha }_{i^T}x)$$ 因此对数-似然函数为 $$l(x)=log{p}_x(y)=\sum _i^{m}logp(y_i-{\alpha }_{i^T}x)$$ 最大似然估计是下面优化问题的任意一个最优点： $$maximize\sum _i^{m}logp(y_i-{\alpha }_{i^T}x)$$ 其中优化变量为$x$。如果概率密度$p$是对数-凹的，此优化问题是凸优化问题。

  在有了$IID$假设后，我们还不能去优化似然函数，因为其中的概率分布$p$还没有明确的解析表达。接下来，我们通过为噪声指定具体分布的方式来确定似然函数的明确解析表达，进而凸优化问题可解。常见的分布有以下两种：

  Gauss噪声：当$v_i$是Gauss噪声，均值为$0$，方差为${\sigma }^2$时，概率密度函数为$p(z)=(2\pi {\sigma }^2{)}^{-\frac{1}{2}}{e}^{-\frac{z^2}{2{\sigma }^2}}$，则对数-似然函数为： $$l(x)=-(\frac{m}{2})log(2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\Vert Ax-y{\Vert }_2^2$$ 其中矩阵$A$的行向量为${\alpha }_1^T,...,{\alpha }_m^T$。因此$x$的最大似然估计为$x_{ml}=argma{x}_x\Vert Ax-y{\Vert }_2^2$，也即$L_2-$范数逼近问题的解。

  Laplace噪声：当$v_i$服从Laplace分布时，即具有概率密度$p(z)=(\frac{1}{2a})e^{-\frac{|z|}{a}}$，其中$a>0$。$x$的最大似然估计为$\hat{x}=argma{x}_x\Vert Ax-y\Vert$，也即$L_1-$范数逼近问题的解。

  在这里，我们也可以从最大似然估计的角度理解$L_1-$范数逼近在大误差情况下的鲁棒性。可以将$L_1-$范数逼近问题看成是概率密度函数是Laplace函数的最大似然估计；$L_2-$范数逼近问题可以看成是噪声服从Gauss分布的最大似然估计。Laplace密度函数比Gauss密度函数具有更大的截尾，即对于Laplace密度函数，$v_i$取值很大的概率远远大于Gauss密度函数的情况。因此，相应的最大似然估计方法将会接收更多大残差。