共轭先验分布及其应用 – 潘登同学的数理统计笔记

文章目录

- 共轭先验分布及其应用 -- 潘登同学的数理统计笔记
共轭先验分布

共轭先验分布

设总体 $\xi$ 的分布函数为 $F(x;\mu,\sigma)$ ，而 $\xi_1,\xi_2,\ldots,\xi_n$ 为 $\xi$ 的样本。 $\Pi(\mu)$ 为参数 $\mu$ 的先验分布。如果 $\Pi(\mu)$ 与条件分布 $f(x_1,\ldots,x_n|\mu)$ 决定的后验分布 $h(\mu|x_1,\ldots,x_n)$ 同类型，则称先验分布 $\Pi(\mu)$ 与总体分布共轭。

正态分布的共轭先验分布为正态分布

设 $\mu$ 先验分布为 $N(m,s^2)$ ,密度函数为 $\Pi(\mu) = \frac{1}{\sqrt{2\pi}s}e^{-\frac{(\mu-m)^2}{2s^2}}$ ,样本为 $x_1,\ldots,x_n,p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{\sigma^2}}$ ,则
$\begin{aligned} \Pi(\mu|x_1,\ldots,x_n) &= \frac{p(x_1,\ldots,x_n|\mu)\Pi(\mu)}{\int_{-\infty}^{\infty}p(x_1,\ldots,x_n|\mu)\Pi(\mu)d\mu} \\ &= \frac{(\frac{1}{\sqrt{2\pi}\sigma})^ne^{-\sum_n\frac{(x-\mu)^2}{\sigma^2}}\frac{1}{\sqrt{2\pi}s}e^{-\frac{(\mu-m)^2}{2s^2}}}{\int_{-\infty}^{\infty}(\frac{1}{\sqrt{2\pi}\sigma})^ne^{-\sum_n\frac{(x-\mu)^2}{\sigma^2}}\frac{1}{\sqrt{2\pi}s}e^{-\frac{(\mu-m)^2}{2s^2}}d\mu}\\ &= \frac{e^{-\frac{ns^2+\sigma^2}{2\sigma^2s^2}(\mu-\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2})^2}}{\int_{-\infty}^{\infty}e^{-\frac{ns^2+\sigma^2}{2\sigma^2s^2}(\mu-\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2})^2}d\mu} \\ &=\frac{\sqrt{ns^2+\sigma^2}}{\sqrt{2\pi}\sigma s}e^{-\frac{ns^2+\sigma^2}{2\sigma^2s^2}(\mu-\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2})^2} \\ \end{aligned}$

所以 $\mu$ 的后验分布为 $N(\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2},\frac{\sigma^2 s^2}{ns^2+\sigma^2})$ ,所以正态分布的均值 $\mu$ 的共轭先验分布为正态分布

其他的常用的共轭先验分布

在下表给出

总体分布	记号	参数	样本与取值范围	先验分布	后验分布
指数分布	$Exp(\lambda)$	$\lambda$	$x\in[0,+\infty)$	$Ga(\alpha,\beta)$	$Ga(n+\alpha,\beta+nE(x))$
正态分布	$N(\mu,\sigma^2)$	$\mu$	$x\in(-\infty,+\infty)$	$N(m,s^2)$	$N(\frac{s^2\sum_nx_i + \sigma^2m}{ns^2+\sigma^2},\frac{\sigma^2 s^2}{ns^2+\sigma^2})$
正态分布	$N(\mu,\sigma^2)$	$\sigma$	$x\in(-\infty,+\infty)$	$IGa(\alpha,\beta)$	$IGa(\frac{n}{2}+\alpha,\beta+n\frac{Var(x)}{2})$
二项分布	$B (N, p)$	$p$	$x\in[0,N]x为整数$	$Beta(\alpha,\beta)$	$Beta(nE(x)+\alpha,nN-nE(x)+\beta)$
负二项分布	$N B (r, p)$	$p$	$x\in[r,+\infty)x为整数$	$Ga(\alpha,\beta)$	$Ga(nr+\alpha,eE(x)-nr+\beta)$
泊松分布	$P(\lambda)$	$\lambda$	$x\in[0,+\infty)x为整数$	$Ga(\alpha,\beta)$	$Ga(nE(x)+\alpha,\beta+n)$
均匀分布	$U(\theta)$	$\theta$	$x\in[0,\theta]$	$P a r e t o (m, k)$	$Pareto(Max\{Max\{x,m\}),k\},n+k)$
伽马分布	$Ga(\alpha,\beta)$	$\beta$	$x\in[0,+\infty)$	$G a (a, b)$	$Ga(a+n\alpha,b+nE(x))$
倒伽马分布	$IGa(\alpha,\beta)$	$\beta$	$x\in[m,+\infty)$	$G a (a, b)$	$Ga(a+n\alpha,b+nE(\frac{1}{x})+b)$
帕累托分布	$P a r e t o (m, k)$	$k$	$x\in[m,+\infty)$	$Ga(\alpha,\beta)$	$Ga(n+\alpha,\beta+nE(\ln x)+n\ln m)$
多项分布	$M N (N, p)$	$p$	$x\in[0,N]x为整数$	$Dir(p,\alpha)$	$Dir(p,\alpha+n)$