0
点赞
收藏
分享

微信扫一扫

P1-概率论基础(Primer on Probability Theory)

2.1概率密度函数

2.1.1定义

设p(x)为随机变量x在区间[a,b]的概率密度函数,p(x)是一个非负函数,且满足

P1-概率论基础(Primer on Probability Theory)_概率密度函数

P1-概率论基础(Primer on Probability Theory)_概率密度函数_02

注意概率与概率密度函数的区别。

概率是在概率密度函数下对应区域的面积,如上图右所示,其公式如下

P1-概率论基础(Primer on Probability Theory)_互信息_03

我们用概率密度函数来表示在区间[a,b]中所有可能的状态x的可能性。

条件概率密度函数,设p(x|y)是在条件y属于[r,s]下x(x属于[a,b])的概率密度函数,有

P1-概率论基础(Primer on Probability Theory)_概率密度函数_04

N维连续随机变量的联合概率密度函数记为p(X),其中X=(x1,...,xn),xi属于[ai,bi],有时我们也用符号

P1-概率论基础(Primer on Probability Theory)_概率密度函数_05

来替代p(X).有时,甚至会混合搭配

P1-概率论基础(Primer on Probability Theory)_协方差_06

作为X和Y的联合概率密度函数。在N维例子中,有

P1-概率论基础(Primer on Probability Theory)_协方差_07

2.1.2贝叶斯规则和推导

首先,把一个联合概率密度函数进行因式分解,有

P1-概率论基础(Primer on Probability Theory)_互信息_08

重新整理后得到贝叶斯原理:

P1-概率论基础(Primer on Probability Theory)_概率密度函数_09

我们可以通过这个公式来推导在给定测量条件下状态的后验概率-p(x|y)。如果我们有一个对状态的先验概率密度函数p(x),以及对传感器模型的先验概率密度函数p(y|x)。通过扩大分母,有如下,

P1-概率论基础(Primer on Probability Theory)_协方差_10

分母的由来通过边缘化,如下

P1-概率论基础(Primer on Probability Theory)_协方差_11

,这在一般的非线性情况下去这么解释非常耗时的。

注意,在贝叶斯推论中,p(x)称为先验概率密度函数,而p(x|y)称为后验概率密度函数。这样,所有的先验信息都集中于p(x)而所有的后验信息都集中于p(x|y)。

2.1.3概率密度函数的矩

第0阶概率矩总是为1,第一阶概率矩称为均值μ,有如下

P1-概率论基础(Primer on Probability Theory)_概率密度函数_12

对于一般的矩阵函数F(X),其期望写成

P1-概率论基础(Primer on Probability Theory)_协方差_13

但是我们把上面写成

P1-概率论基础(Primer on Probability Theory)_概率密度函数_14

第二阶概率矩称为协方差矩阵Σ:

P1-概率论基础(Primer on Probability Theory)_互信息_15

那么下两个矩称为skewness and kurtosis(偏态和峰态)。

!!!!!!!!!向量的概率相关信息以及随机变量的概率相关信息的区别

2.14 样本均值和协方差

假设我们有随机变量x,以及它的概率密度函数p(x),我们可以从这个概率密度函数中得到样本,可以表示为

P1-概率论基础(Primer on Probability Theory)_协方差_16

一个样本有时也称为随机变量的一个实现,我们直观地把它想成一次测量。

如果我们想要得到N个那样的样本,且想要估计随机变量x的均值和协方差,我们可以运用样本均值和样本协方差来这么做:

P1-概率论基础(Primer on Probability Theory)_互信息_17

 

很明显,在样本协方差中的分母运用N-1而非N来作为归一化,这称为贝塞尔的校正。

2.1.5统计独立,以及不相关

两个随机变量x和y,我们说他们统计独立的话,则他们的联合概率密度因式分解为如下:

P1-概率论基础(Primer on Probability Theory)_互信息_18

如果有以下等式成立

P1-概率论基础(Primer on Probability Theory)_概率密度函数_19

,则称变量不相关。

独立一定不相关,反之,则不然。我们将通常假设变量是统计独立的来简化计算。

2.1.6香农和互信息

通常我们对一些随机变量估计其概率密度函数,然后想要去量化我们是有多么的确定,例如,概率密度函数的均值。

一种方法就是查看负熵或者香农信息,H,它由如下给出

P1-概率论基础(Primer on Probability Theory)_概率密度函数_20

我们将在下面用高斯概率密度函数具体来表达。

另一个有用的量是互信息,I(X,Y),它在随机变量x和y之间,形式给出如下

P1-概率论基础(Primer on Probability Theory)_协方差_21

互信息(Mutual Information)是​​信息论​​​里一种有用的信息度量,它可以看成是一个​​随机​​变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

P1-概率论基础(Primer on Probability Theory)_互信息_22

当x和y都统计独立,则有

P1-概率论基础(Primer on Probability Theory)_互信息_23

当x和y是依赖的,我们有

P1-概率论基础(Primer on Probability Theory)_互信息_24

我们还有有用的关系,如下

P1-概率论基础(Primer on Probability Theory)_协方差_25

2.17Cramer-Rao下界和费舍尔信息

假设有一个确定性的参数 θ,它影响随机变量x的结果。这可以通过把x的概率密度函数写成依赖于 θ来获得,如下

P1-概率论基础(Primer on Probability Theory)_概率密度函数_26

进一步假设我们得到一个从p(x| θ)的样本

P1-概率论基础(Primer on Probability Theory)_概率密度函数_27


P1-概率论基础(Primer on Probability Theory)_概率密度函数_28

那么, the Cramér-Rao lower bound (CRLB)说的是确定性参数θ的然和无偏估计

P1-概率论基础(Primer on Probability Theory)_协方差_29

的协方差由费舍尔信息矩阵定下界,

P1-概率论基础(Primer on Probability Theory)_互信息_30

P1-概率论基础(Primer on Probability Theory)_概率密度函数_31

无偏估计意味着

P1-概率论基础(Primer on Probability Theory)_互信息_32

,下界意味着

P1-概率论基础(Primer on Probability Theory)_协方差_33

P1-概率论基础(Primer on Probability Theory)_互信息_34

因此CRLB就设置了一个基本的下限在给出我们测量之后,对一个参数的估计有多确定。

2.2高斯概率密度函数

一维高斯概率密度函数,由如下形式给出

P1-概率论基础(Primer on Probability Theory)_互信息_35

μ是均值,

P1-概率论基础(Primer on Probability Theory)_互信息_36

是协方差,σ表示标准差,下图表示了一维高斯密度函数,

P1-概率论基础(Primer on Probability Theory)_概率密度函数_37

多维高斯密度函数,

P1-概率论基础(Primer on Probability Theory)_协方差_38

,其中随机变量x是n维的,

P1-概率论基础(Primer on Probability Theory)_概率密度函数_39

表达如下,

P1-概率论基础(Primer on Probability Theory)_互信息_40

P1-概率论基础(Primer on Probability Theory)_概率密度函数_41

是一个对称正定的协方差矩阵

P1-概率论基础(Primer on Probability Theory)_协方差_42

P1-概率论基础(Primer on Probability Theory)_协方差_43

P1-概率论基础(Primer on Probability Theory)_互信息_44

2.2.2 Isserlis定理

多维高斯密度函数的矩去计算均值以及协方差以外的量会比较麻烦,但是有一些具体的例子稍后我们会利用,这值得讨论。我们可以运用Isserlis定理来计算更高阶的高斯随机变量

P1-概率论基础(Primer on Probability Theory)_协方差_45

定理如下

P1-概率论基础(Primer on Probability Theory)_互信息_46

设有四个变量,表示如下

P1-概率论基础(Primer on Probability Theory)_概率密度函数_47

我们可以把这个理论应用到计算矩阵表示的有用结果。

假设有,

P1-概率论基础(Primer on Probability Theory)_协方差_48

,要去计算表达式

P1-概率论基础(Primer on Probability Theory)_概率密度函数_49

p为非负整数,当p=0时,有

P1-概率论基础(Primer on Probability Theory)_互信息_50

,当p=1时,有

P1-概率论基础(Primer on Probability Theory)_协方差_51

在标量中,

P1-概率论基础(Primer on Probability Theory)_概率密度函数_52

,因此由上面得出,

P1-概率论基础(Primer on Probability Theory)_互信息_53

P1-概率论基础(Primer on Probability Theory)_概率密度函数_54

,对于p大于1,也用同样的方法。

我们也考虑如下例子,

P1-概率论基础(Primer on Probability Theory)_概率密度函数_55

x1的维数为N1,x2的维数为N2,计算如下表达式

P1-概率论基础(Primer on Probability Theory)_概率密度函数_56

同理,p是非负整数,当p=0时,有

P1-概率论基础(Primer on Probability Theory)_互信息_57

,当p=1时,有

P1-概率论基础(Primer on Probability Theory)_概率密度函数_58

类似的,有

P1-概率论基础(Primer on Probability Theory)_概率密度函数_59

最后来核查一下,有

P1-概率论基础(Primer on Probability Theory)_概率密度函数_60

进一步,我们有

P1-概率论基础(Primer on Probability Theory)_互信息_61

A是一个与上面兼容的方阵。

2.2.3联合高斯概率密度函数,他们的因式分解,以及推断

对一对变量(x,y)的联合高斯,可写为

P1-概率论基础(Primer on Probability Theory)_互信息_62

它也有同样的概率表示形式,这里的

P1-概率论基础(Primer on Probability Theory)_概率密度函数_63

我们可以用舒尔补码来求解联合高斯

P1-概率论基础(Primer on Probability Theory)_概率密度函数_64

P1-概率论基础(Primer on Probability Theory)_互信息_65

P1-概率论基础(Primer on Probability Theory)_协方差_66

P1-概率论基础(Primer on Probability Theory)_协方差_67

很重要的是p(x|y)和p(y)是高斯密度函数,如果正好我们知道y的值(比如经过测量得到的),我们就可以计算出x在y条件下的可能性通过p(x|y)来计算。

这是高斯推断的一个基础:我们以关于我们的先验状态

P1-概率论基础(Primer on Probability Theory)_互信息_68

开始,然后通过一些测量

P1-概率论基础(Primer on Probability Theory)_概率密度函数_69

来缩小先验状态x的范围,在  (2.46b)中,我们看到了对均值

P1-概率论基础(Primer on Probability Theory)_概率密度函数_70

和协方差

P1-概率论基础(Primer on Probability Theory)_概率密度函数_71

的一个调整,使之变得更小了。

 

举报

相关推荐

0 条评论