共轭先验分布及其应用 – 潘登同学的数理统计笔记
文章目录
共轭先验分布
设总体 ξ \xi ξ的分布函数为 F ( x ; μ , σ ) F(x;\mu,\sigma) F(x;μ,σ)，而 ξ 1 , ξ 2 , … , ξ n \xi_1,\xi_2,\ldots,\xi_n ξ1,ξ2,…,ξn为 ξ \xi ξ的样本。 Π ( μ ) \Pi(\mu) Π(μ)为参数 μ \mu μ的先验分布。 如果 Π ( μ ) \Pi(\mu) Π(μ)与条件分布 f ( x 1 , … , x n ∣ μ ) f(x_1,\ldots,x_n|\mu) f(x1,…,xn∣μ)决定的后验分布 h ( μ ∣ x 1 , … , x n ) h(\mu|x_1,\ldots,x_n) h(μ∣x1,…,xn)同类型，则称先验分布 Π ( μ ) \Pi(\mu) Π(μ)与总体分布共轭。
正态分布的共轭先验分布为正态分布
设
μ
\mu
μ先验分布为
N
(
m
,
s
2
)
N(m,s^2)
N(m,s2),密度函数为
Π
(
μ
)
=
1
2
π
s
e
−
(
μ
−
m
)
2
2
s
2
\Pi(\mu) = \frac{1}{\sqrt{2\pi}s}e^{-\frac{(\mu-m)^2}{2s^2}}
Π(μ)=2πs1e−2s2(μ−m)2,样本为
x
1
,
…
,
x
n
,
p
(
x
)
=
1
2
π
σ
e
−
(
x
−
μ
)
2
σ
2
x_1,\ldots,x_n,p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{\sigma^2}}
x1,…,xn,p(x)=2πσ1e−σ2(x−μ)2,则
Π
(
μ
∣
x
1
,
…
,
x
n
)
=
p
(
x
1
,
…
,
x
n
∣
μ
)
Π
(
μ
)
∫
−
∞
∞
p
(
x
1
,
…
,
x
n
∣
μ
)
Π
(
μ
)
d
μ
=
(
1
2
π
σ
)
n
e
−
∑
n
(
x
−
μ
)
2
σ
2
1
2
π
s
e
−
(
μ
−
m
)
2
2
s
2
∫
−
∞
∞
(
1
2
π
σ
)
n
e
−
∑
n
(
x
−
μ
)
2
σ
2
1
2
π
s
e
−
(
μ
−
m
)
2
2
s
2
d
μ
=
e
−
n
s
2
+
σ
2
2
σ
2
s
2
(
μ
−
s
2
∑
n
x
i
+
σ
2
m
n
s
2
+
σ
2
)
2
∫
−
∞
∞
e
−
n
s
2
+
σ
2
2
σ
2
s
2
(
μ
−
s
2
∑
n
x
i
+
σ
2
m
n
s
2
+
σ
2
)
2
d
μ
=
n
s
2
+
σ
2
2
π
σ
s
e
−
n
s
2
+
σ
2
2
σ
2
s
2
(
μ
−
s
2
∑
n
x
i
+
σ
2
m
n
s
2
+
σ
2
)
2
\begin{aligned} \Pi(\mu|x_1,\ldots,x_n) &= \frac{p(x_1,\ldots,x_n|\mu)\Pi(\mu)}{\int_{-\infty}^{\infty}p(x_1,\ldots,x_n|\mu)\Pi(\mu)d\mu} \\ &= \frac{(\frac{1}{\sqrt{2\pi}\sigma})^ne^{-\sum_n\frac{(x-\mu)^2}{\sigma^2}}\frac{1}{\sqrt{2\pi}s}e^{-\frac{(\mu-m)^2}{2s^2}}}{\int_{-\infty}^{\infty}(\frac{1}{\sqrt{2\pi}\sigma})^ne^{-\sum_n\frac{(x-\mu)^2}{\sigma^2}}\frac{1}{\sqrt{2\pi}s}e^{-\frac{(\mu-m)^2}{2s^2}}d\mu}\\ &= \frac{e^{-\frac{ns^2+\sigma^2}{2\sigma^2s^2}(\mu-\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2})^2}}{\int_{-\infty}^{\infty}e^{-\frac{ns^2+\sigma^2}{2\sigma^2s^2}(\mu-\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2})^2}d\mu} \\ &=\frac{\sqrt{ns^2+\sigma^2}}{\sqrt{2\pi}\sigma s}e^{-\frac{ns^2+\sigma^2}{2\sigma^2s^2}(\mu-\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2})^2} \\ \end{aligned}
Π(μ∣x1,…,xn)=∫−∞∞p(x1,…,xn∣μ)Π(μ)dμp(x1,…,xn∣μ)Π(μ)=∫−∞∞(2πσ1)ne−∑nσ2(x−μ)22πs1e−2s2(μ−m)2dμ(2πσ1)ne−∑nσ2(x−μ)22πs1e−2s2(μ−m)2=∫−∞∞e−2σ2s2ns2+σ2(μ−ns2+σ2s2∑nxi+σ2m)2dμe−2σ2s2ns2+σ2(μ−ns2+σ2s2∑nxi+σ2m)2=2πσsns2+σ2e−2σ2s2ns2+σ2(μ−ns2+σ2s2∑nxi+σ2m)2
所以 μ \mu μ的后验分布为 N ( s 2 ∑ n x i + σ 2 m n s 2 + σ 2 , σ 2 s 2 n s 2 + σ 2 ) N(\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2},\frac{\sigma^2 s^2}{ns^2+\sigma^2}) N(ns2+σ2s2∑nxi+σ2m,ns2+σ2σ2s2),所以正态分布的均值 μ \mu μ的共轭先验分布为正态分布
其他的常用的共轭先验分布
在下表给出
| 总体分布 | 记号 | 参数 | 样本与取值范围 | 先验分布 | 后验分布 |
|---|---|---|---|---|---|
| 指数分布 | E x p ( λ ) Exp(\lambda) Exp(λ) | λ \lambda λ | x ∈ [ 0 , + ∞ ) x\in[0,+\infty) x∈[0,+∞) | G a ( α , β ) Ga(\alpha,\beta) Ga(α,β) | G a ( n + α , β + n E ( x ) ) Ga(n+\alpha,\beta+nE(x)) Ga(n+α,β+nE(x)) |
| 正态分布 | N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2) | μ \mu μ | x ∈ ( − ∞ , + ∞ ) x\in(-\infty,+\infty) x∈(−∞,+∞) | N ( m , s 2 ) N(m,s^2) N(m,s2) | N ( s 2 ∑ n x i + σ 2 m n s 2 + σ 2 , σ 2 s 2 n s 2 + σ 2 ) N(\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2},\frac{\sigma^2 s^2}{ns^2+\sigma^2}) N(ns2+σ2s2∑nxi+σ2m,ns2+σ2σ2s2) |
| 正态分布 | N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2) | σ \sigma σ | x ∈ ( − ∞ , + ∞ ) x\in(-\infty,+\infty) x∈(−∞,+∞) | I G a ( α , β ) IGa(\alpha,\beta) IGa(α,β) | I G a ( n 2 + α , β + n V a r ( x ) 2 ) IGa(\frac{n}{2}+\alpha,\beta+n\frac{Var(x)}{2}) IGa(2n+α,β+n2Var(x)) |
| 二项分布 | B ( N , p ) B(N,p) B(N,p) | p p p | x ∈ [ 0 , N ] x 为 整 数 x\in[0,N]x为整数 x∈[0,N]x为整数 | B e t a ( α , β ) Beta(\alpha,\beta) Beta(α,β) | B e t a ( n E ( x ) + α , n N − n E ( x ) + β ) Beta(nE(x)+\alpha,nN-nE(x)+\beta) Beta(nE(x)+α,nN−nE(x)+β) |
| 负二项分布 | N B ( r , p ) NB(r,p) NB(r,p) | p p p | x ∈ [ r , + ∞ ) x 为 整 数 x\in[r,+\infty)x为整数 x∈[r,+∞)x为整数 | G a ( α , β ) Ga(\alpha,\beta) Ga(α,β) | G a ( n r + α , e E ( x ) − n r + β ) Ga(nr+\alpha,eE(x)-nr+\beta) Ga(nr+α,eE(x)−nr+β) |
| 泊松分布 | P ( λ ) P(\lambda) P(λ) | λ \lambda λ | x ∈ [ 0 , + ∞ ) x 为 整 数 x\in[0,+\infty)x为整数 x∈[0,+∞)x为整数 | G a ( α , β ) Ga(\alpha,\beta) Ga(α,β) | G a ( n E ( x ) + α , β + n ) Ga(nE(x)+\alpha,\beta+n) Ga(nE(x)+α,β+n) |
| 均匀分布 | U ( θ ) U(\theta) U(θ) | θ \theta θ | x ∈ [ 0 , θ ] x\in[0,\theta] x∈[0,θ] | P a r e t o ( m , k ) Pareto(m,k) Pareto(m,k) | P a r e t o ( M a x { M a x { x , m } ) , k } , n + k ) Pareto(Max\{Max\{x,m\}),k\},n+k) Pareto(Max{Max{x,m}),k},n+k) |
| 伽马分布 | G a ( α , β ) Ga(\alpha,\beta) Ga(α,β) | β \beta β | x ∈ [ 0 , + ∞ ) x\in[0,+\infty) x∈[0,+∞) | G a ( a , b ) Ga(a,b) Ga(a,b) | G a ( a + n α , b + n E ( x ) ) Ga(a+n\alpha,b+nE(x)) Ga(a+nα,b+nE(x)) |
| 倒伽马分布 | I G a ( α , β ) IGa(\alpha,\beta) IGa(α,β) | β \beta β | x ∈ [ m , + ∞ ) x\in[m,+\infty) x∈[m,+∞) | G a ( a , b ) Ga(a,b) Ga(a,b) | G a ( a + n α , b + n E ( 1 x ) + b ) Ga(a+n\alpha,b+nE(\frac{1}{x})+b) Ga(a+nα,b+nE(x1)+b) |
| 帕累托分布 | P a r e t o ( m , k ) Pareto(m,k) Pareto(m,k) | k k k | x ∈ [ m , + ∞ ) x\in[m,+\infty) x∈[m,+∞) | G a ( α , β ) Ga(\alpha,\beta) Ga(α,β) | G a ( n + α , β + n E ( ln x ) + n ln m ) Ga(n+\alpha,\beta+nE(\ln x)+n\ln m) Ga(n+α,β+nE(lnx)+nlnm) |
| 多项分布 | M N ( N , p ) MN(N,p) MN(N,p) | p p p | x ∈ [ 0 , N ] x 为 整 数 x\in[0,N]x为整数 x∈[0,N]x为整数 | D i r ( p , α ) Dir(p,\alpha) Dir(p,α) | D i r ( p , α + n ) Dir(p,\alpha+n) Dir(p,α+n) |
注: n都是抽样的样本数
为什么要有共轭先验分布这一概念
因为所有的后验分布都可以用贝叶斯公式计算出来，但是难免有一些先验分布通过贝叶斯公式计算出来的后验分布没有显示的表达式，只能用积分符号代替的那种，有了共轭先验分布，就能方便快捷的得到后验分布…
要说具体有什么用呢， 就是在假设先验分布的时候，根据适当的总体分布，假设一个有共轭先验分布的先验分布(比如总体服从正态，要计算均值，那就假设均值服从正态分布)…
