最大似然估计

目的

对于一个概率问题，假设已知了发生一次独立事件属于那种概率分布。这时，怎么估计次概率分布的参数，就要使用最大似然估计。

似然函数 与 概率函数

我们描述一个事件发生的概率使用公式：P（x|θ）

x 为某事件
θ为概率分布的参数

P（x|θ）为在θ的条件下，x发生的概率。

事件发生的概率其实受两个因素决定：

1. 在参数θ确定的情况下，什么时间发生的概率 此时为概率函数
2. 在事件确定的情况下，不同的参数的概率 此时为似然函数

这里如果理解不了，看
https://zhuanlan.zhihu.com/p/136580875

最大似然估计

顾名思义，最大似然估计是求让似然函数最大的概率分布参数的方法。

下面就举两个最大似然估计的例子帮助理解：

当概率分布为二项分布

所谓二项分布，其参数只有一个，即是的概率。

该过程即为最大似然估计。即求某一事件发生概率最大的概率分布参数。

当概率分布为正态分布

对一把尺子测量10次，假设每次测量值服从正太分布，则：
一次（第i次）测量值出现的概率：

假设每次测量独立，则10次测量值的这一事件发生的概率应为：
P = P1*P2···P10即：

可以看到10次测量值这一事件发生的概率是由正太分布的参数决定的。
求使这10次测量值的这一事件出现概率最大的正太分布参数：


该过程即为最大似然估计。即求某一事件发生概率最大的概率分布参数。

参考：
https://zhuanlan.zhihu.com/p/136580875
https://zhuanlan.zhihu.com/p/26614750