0
点赞
收藏
分享

微信扫一扫

指数族分布(Exponential Families of Distributions)

丹柯yx 2022-07-18 阅读 65

指数族分布是一大类分布,基本形式为:

指数族分布(Exponential Families of Distributions)_归一化

T(x)是x的充分统计量(能为相应分布提供足够信息的统计量)

指数族分布(Exponential Families of Distributions)_github_02

为了满足归一化条件,有:

指数族分布(Exponential Families of Distributions)_归一化_03

可以看出,当T(x)=x时,e^A(theta)是h(x)的​​拉普拉斯变换​​。

 指数族分布的例子:

指数族分布(Exponential Families of Distributions)_归一化_04

伯努利分布转换成指数族分布形式:

指数族分布(Exponential Families of Distributions)_github_05

 单变量高斯分布的:

指数族分布(Exponential Families of Distributions)_归一化_06

多变量高斯分布的:

指数族分布(Exponential Families of Distributions)_github_07

 

A(theta)的一阶导:

指数族分布(Exponential Families of Distributions)_github_08

A(theta)的二阶导:

指数族分布(Exponential Families of Distributions)_归一化_09

说明A(theta)是凸函数

 

计算log likehood,然后对theta求导,可得

指数族分布(Exponential Families of Distributions)_github_10

而A的二次导时大于零的,所以A的一次导是增函数,上述方程最多只有一个解。

 

共轭先验:

似然估计:

指数族分布(Exponential Families of Distributions)_github_11

我们希望:

指数族分布(Exponential Families of Distributions)_归一化_12

比如:

指数族分布(Exponential Families of Distributions)_归一化_13

指数族分布(Exponential Families of Distributions)_github_14

一些例子:

指数族分布(Exponential Families of Distributions)_github_15

 

黄世宇/Shiyu Huang's Personal Page:​​https://huangshiyu13.github.io/​​



举报

相关推荐

0 条评论