0.先验概率和后验概率
先验概率（prior probability）：指根据以往经验和分析。在实验或采样前就可以得到的概率。key:简单的暴力统计。
后验概率（posterior probability）：指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。key：条件概率
全概率公式为全概率就是表示达到某个目的，有多种方式，算到达目的的概率。key：算概率
贝叶斯公式为当给定条件发生变化后，会导致事件发生的可能性发生何种变化。key：概率变化
（1）全概率公式
设事件 B1，B2，B3，B4，…Bn构成一个完备事件组，即它们两两不相容，和为全集且P（Bi）>0。则对于任一事件A有：（全概率公式）
（2）贝叶斯公式
设事件 B1，B2，B3，B4，…Bn构成一个完备事件组，即它们两两不相容，和为全集且P（Bi）>0。则对于任一事件A有：（贝叶斯公式）
1.似然函数
在数理统计中，似然函数是一种关于统计模型中的参数的函数，既然是函数那自变量就是模型可能的参数值，因变量就是参数取具体值的似然性，通俗来说就是实验结果已知的情况下，参数为某个具体值的概率。
区别似然和概率的直接方法为，"谁谁谁的概率"中谁谁谁只能是事件，也就是，事件(发生)的概率是多少；而"谁谁谁的似然"中的谁谁谁只能是参数，比如说，参数等于某个值时的似然是多少。简单描述：
- 概率描述的是：指定参数后，预测即将发生事件的可能性；
- 似然描述的是：在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计；
似然函数 L（x1，x2，x3，…xn；θ） 指的就是随机变量 X 取到指定的这一组样本值：（x1，x2，x3，…xn） 时的概率的大小。当未知的待估计的参数 θ 取不同的值时，计算出来的概率的值会发生变化。
2.极大似然估计 - MLE
（1）MLE思想
简述MLE含义：利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。
MLE原理：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。
似然函数 L（x1，x2，x3，…xn；θ） 指的就是随机变量 X 取到指定的这一组样本值：（x1，x2，x3，…xn） 时的概率的大小。当未知的待估计的参数 θ 取不同的值时，计算出来的概率的值会发生变化。
此时我们要做的就是在未知参数 θ 的取值范围中选取使得以然函数L(x1，x2，x3，…xn；θ）自能够取得最大值的θ作为未知参数的估计值，由于使得似然函数取值达到最大，因此θ就是未知参数θ的极大似然估计。
极大似然估计问题：可以理解成一个求最值的问。
转换过程思想即:在给定概率模型和一组相互独立的观测样本x1，x2，x3，…xn 的基础上，求解使得似然函数 L(θ）=L(x1，x2，x3，…xn；θ）取得最大值的未知参数θ的取值。
对似然函数求导，使得导数为0的θ的取值，就是我们要找的极大以然估计值.
（2）MLE案例
①、抛硬币
硬币正反面不规则，我们想要估计他正面向上的概率 θ，我们连续抛掷10次，每一次抛掷的结果形成的样本序列如下：正，正，正，反，反，正，反，正，正，反
每次抛掷的过程是都是彼此独立的，并且X 是一个伯努利随机变量。我们知道:p({xi =正})= θ , p({xi=反})=1- θ，那么这组观测数据的似然函数为:
将其转换为对数似然函数：
然后对对数似然函数求导：
让对数似然函数的导数为0：
得到极大似然估计值：θ = 6/10
②、多参数极大似然估计
从一个服从参数为(u, δ²)的正态分布°当中获取一组采样值:x1，x2，x3，…xn，通过这组采样值，我们来求得两个参娄数的极大似然估计值:
第一步，写出似然函数：
变换，写成对数似然的形式：
于这里有两个待估计的参数，我们分别对其进行求偏导， 把δ² 看作是一个整体即可：
第一个求偏导数的式子中，可以得出：
即得到； 均值的极大似然估计值：
第二个求偏导的式子中，注意是把 δ² 看作是一个整体，因此可以得出：
代入u的极大似然估计值之后，得到δ²的极大似然估计值：
δ² 的计算方式中，分母是n而不是n-1，因为n是渐进无偏估计，n-1是无偏估计量，而δ²在这里是有偏估计，因为估计值和真实值之间有偏差。
（3）无偏估计和有偏估计
无偏估计
无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。
有偏估计
有偏估计（biased estimate）是指由样本值求得的估计值与待估参数的真值之间有系统误差，其期望值不是待估参数的真值。在统计学中，估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。
3.最大后验估计-MAP
MAP的基础使贝叶斯公式：P(θ/X) = P(θ,X)/P(X)。目的是通过观测值使得后验概率P(θ,X)最大即可。
4.极大似然估计与最大后验概率的区别
- 最大似然估计中的采样满足所有采样都是独立同分布的假设；
- 最大后验概率在考虑了p(X/θ)的同时，还考虑了p(θ)；
5.参考
https://github.com/sladesha/Reflection_Summaryhttps://zhuanlan.zhihu.com/p/26614750https://zhuanlan.zhihu.com/p/40236632
