文章目录

• 19 贝叶斯线性回归
• • 19.1 频率派线性回归
  • 19.2 Bayesian Method
  • • 19.2.1 Inference问题
    • 19.2.2 Prediction问题

19 贝叶斯线性回归

19.1 频率派线性回归

数据与模型：

• 样本：
  $${\{(x_i,y_i)\}}_{i=1}^N,x_i\in {\mathbb{R}}^p,y_i\in {\mathbb{R}}^p$$

  X = ( x 1   x 2   …   x N ) T = ( x 1 T x 2 T … x N T ) = ( x 11 x 12 … x 1 N x 21 x 22 … x 2 N … x N 1 x N 2 … x N N ) , Y = ( y 1 T y 2 T … y N T ) X = (x_1 \ x_2 \ \dots \ x_N )^T = \begin{pmatrix} x_1^T \\ x_2^T \\ \dots \\ x_N^T \end{pmatrix} = \begin{pmatrix} x_{11} & x_{12} & \dots & x_{1N} \\ x_{21} & x_{22} & \dots & x_{2N} \\ \dots \\ x_{N1} & x_{N2} & \dots & x_{NN} \\ \end{pmatrix} , Y = \begin{pmatrix} y_1^T \\ y_2^T \\ \dots \\ y_N^T \end{pmatrix} X=(x1​ x2​ … xN​)T= ​x1T​x2T​…xNT​​ ​= ​x11​x21​…xN1​​x12​x22​xN2​​………​x1N​x2N​xNN​​ ​,Y= ​y1T​y2T​…yNT​​ ​

• 回归方程：
  $$f(x)=w^{T}x=x^{T}w,y=f(x)+\underset{noise}{\epsilon },\epsilon \backsim N(0,{\sigma }^2)$$
  其中$x,y,\epsilon$都是随机变量，假设$w$用于表示参数

在频率派的线性回归中，我们是通过假设$w$表示一个未知的常量，转化为优化问题进行求解。我们将这种方法称为点估计，在过去我们学习过了两种方法：

1. $LSE⟸MLE(\text{noise is Gaussian})$——极大似然估计：
   $$w_{MLE}=arg\underset{w}{\max }P(Data|w)$$

2. $RegularizedLSE⟸MAP(\text{noise is Gaussian})$——最大后验估计：
   $$w_{MAP}=arg\underset{w}{\max }\underset{\propto P(Data|w)\cdot P(w)}{P(w|Data)}=arg\underset{w}{\max }P(Data|w)\cdot P(w)$$
   其中若$P(w)$表示为Gaussian Dist则为岭回归(Ridge)，若$P(w)$表示为Laplace则为Lasso

在本章我们的目标是通过Bayesian Method解决线性回归问题：

• 假定$w$是一个随机变量
• 求出后验$P(w|Data)$

19.2 Bayesian Method

数据与模型：

• 样本数据：
  $${\{(x_i,y_i)\}}_{i=1}^N,x_i\in {\mathbb{R}}^p,y_i\in {\mathbb{R}}^p$$

  X = ( x 1   x 2   …   x N ) T = ( x 1 T x 2 T … x N T ) = ( x 11 x 12 … x 1 N x 21 x 22 … x 2 N … x N 1 x N 2 … x N N ) , Y = ( y 1 T y 2 T … y N T ) X = (x_1 \ x_2 \ \dots \ x_N )^T = \begin{pmatrix} x_1^T \\ x_2^T \\ \dots \\ x_N^T \end{pmatrix} = \begin{pmatrix} x_{11} & x_{12} & \dots & x_{1N} \\ x_{21} & x_{22} & \dots & x_{2N} \\ \dots \\ x_{N1} & x_{N2} & \dots & x_{NN} \\ \end{pmatrix} , Y = \begin{pmatrix} y_1^T \\ y_2^T \\ \dots \\ y_N^T \end{pmatrix} X=(x1​ x2​ … xN​)T= ​x1T​x2T​…xNT​​ ​= ​x11​x21​…xN1​​x12​x22​xN2​​………​x1N​x2N​xNN​​ ​,Y= ​y1T​y2T​…yNT​​ ​

• 模型：
  $$f(x)=w^{T}x=x^{T}w,y=f(x)+\underset{noise}{\epsilon },\epsilon \backsim N(0,{\sigma }^2)$$
  其中$x,y,\epsilon ,w$都是随机变量，假设用于表示参数

• 问题表示：
  $$\{\begin{array}{l}Inference:posterior(w)\\ Prediction:x^{\ast }\to y^{\ast }\end{array}$$

19.2.1 Inference问题

Inference问题就是求解后验：$P(w|Data)$。接下来进行逐步的推导：
$$\begin{array}{r}P(w|Data)=P(w|X,Y)=\frac{P(w,Y|X)}{P(Y|X)}=\frac{\stackrel{likelihood}{P(Y|w,X)}\cdot \stackrel{prior}{P(w|X)}}{\int P(Y|w,X)\cdot P(w|X)\mathrm{d}w}\end{array}$$
将后验拆解开之后，我们只需要分开求解likelihood和prior：

• 求解likelihood：
  $$P(Y|w,X)=\prod _{i=1}^{N}P(y_i|w,x_i)=\prod _{i=1}^{N}N(y_i|w^T{x}_i,{\sigma }^2)$$

• 假设prior：
  $$p(w|X)=N(0,{\Sigma }_p)$$

所以求解后验可以写为：
$$\begin{array}{rl}P(w|Data)& \propto P(Y|w,X)\cdot P(w|X)\\ & \propto \prod _{i=1}^{N}N(y_i|w^T{x}_i,{\sigma }^2)\cdot N(0,{\Sigma }_p)\end{array}$$
我们先将likelihood进行一个变换：
P ( Y ∣ w , X ) = ∏ i = 1 N N ( y i ∣ w T x i , σ 2 ) = ∏ i = 1 N 1 ( 2 π ) 1 2 σ exp ⁡ { − 1 2 σ 2 ( y i − w T x i ) 2 } = 1 ( 2 π ) N 2 σ N exp ⁡ { − 1 2 σ 2 ∑ i = 1 N ( y i − w T x i ) 2 } = 1 ( 2 π ) N 2 σ N ⏟ ∣ Σ ∣ 1 2 exp ⁡ { − 1 2 ( Y − X w ) ⏟ x − μ T σ − 2 I ⏟ Σ − 1 ( Y − X w ) } = N ( X w , σ − 2 I ) \begin{align} P(Y|w, X) &= \prod_{i=1}^{N} N(y_i| w^T x_i, \sigma^2) \\ &= \prod_{i=1}^{N} \frac{ 1 }{ {(2 \pi)}^\frac{1}{2} \sigma } \exp{\lbrace -\frac{1}{2\sigma^2} {( y_i - w^T x_i )}^2 \rbrace} \\ &= \frac{ 1 }{ {(2 \pi)}^\frac{N}{2} \sigma^N } \exp{\lbrace -\frac{1}{2\sigma^2} \sum_{i=1}^N {( y_i - w^T x_i )}^2 \rbrace} \\ &= \frac{ 1 }{ {(2 \pi)}^\frac{N}{2} \underbrace{\sigma^N}_{{|\Sigma|}^\frac{1}{2}} } \exp{\lbrace -\frac{1}{2} {\underbrace{(Y-Xw)}_{x-\mu}}^T \underbrace{\sigma^{-2} I}_{\Sigma^{-1}} {(Y-Xw)} \rbrace} \\ &= N(Xw, \sigma^{-2} I) \end{align} P(Y∣w,X)​=i=1∏N​N(yi​∣wTxi​,σ2)=i=1∏N​(2π)21​σ1​exp{−2σ21​(yi​−wTxi​)2}=(2π)2N​σN1​exp{−2σ21​i=1∑N​(yi​−wTxi​)2}=(2π)2N​∣Σ∣21​ σN​​1​exp{−21​x−μ (Y−Xw)​​TΣ−1 σ−2I​​(Y−Xw)}=N(Xw,σ−2I)​​
通过上文的likelihood我们可以求解：
P ( w ∣ D a t a ) ∝ P ( Y ∣ w , X ) ⋅ P ( w ∣ X ) = N ( X w , σ − 2 I ) ) ⋅ N ( 0 , Σ p ) ∝ exp ⁡ { − 1 2 ( Y − X w ) T σ − 2 I ( Y − X w ) } ⋅ exp ⁡ { − 1 2 w T Σ p − 1 w } = exp ⁡ { − 1 2 ( Y − X w ) T σ − 2 I ( Y − X w ) − 1 2 w T Σ p − 1 w } = exp ⁡ { − 1 2 ( Y T Y − 2 Y T X w + w T X T X w ) − 1 2 w T Σ p − 1 w } \begin{align} P(w|Data) &\propto P(Y|w,X) \cdot P(w|X) = N(Xw, \sigma^{-2} I)) \cdot N(0, \Sigma_p) \\ &\propto \exp{\lbrace -\frac{1}{2} {{(Y-Xw)}}^T {\sigma^{-2} I} {(Y-Xw)} \rbrace} \cdot \exp{\lbrace -\frac{1}{2} w^T \Sigma_p^{-1} w \rbrace} \\ &= \exp{\lbrace -\frac{1}{2} {{(Y-Xw)}}^T {\sigma^{-2} I} {(Y-Xw)} -\frac{1}{2} w^T \Sigma_p^{-1} w \rbrace} \\ &= \exp{\lbrace -\frac{1}{2} {( Y^T Y - 2Y^T X w + w^T X^T X w )} -\frac{1}{2} w^T \Sigma_p^{-1} w \rbrace} \\ \end{align} P(w∣Data)​∝P(Y∣w,X)⋅P(w∣X)=N(Xw,σ−2I))⋅N(0,Σp​)∝exp{−21​(Y−Xw)Tσ−2I(Y−Xw)}⋅exp{−21​wTΣp−1​w}=exp{−21​(Y−Xw)Tσ−2I(Y−Xw)−21​wTΣp−1​w}=exp{−21​(YTY−2YTXw+wTXTXw)−21​wTΣp−1​w}​​

让我们用配方法，取出$P(w|Data)$的二次项和一次项，假设$P(w|Data)$的均值和方差表示为${\mu }_w,{\Sigma }_w$：
$$\begin{array}{rl}& \{\begin{array}{l}\text{二次项：}-\frac{1}{2{\sigma }^2}{w}^T{X}^{T}Xw-\frac{1}{2}{w}^T{\Sigma }_p^{-1}w=\underset{-\frac{1}{2}{x}^T{\Sigma }_w^{-1}x}{-\frac{1}{2}(w^T({\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1})w)}\\ \text{一次项：}\underset{{\mu }^T{\Sigma }_w^{-1}x}{{\sigma }^{-2}{Y}^{T}Xw}\end{array}\\ ⟹& \{\begin{array}{l}{\Sigma }_w^{-1}=({\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1})\\ {\mu }^T{\Sigma }_w^{-1}={\sigma }^{-2}{Y}^{T}X\end{array}\end{array}$$
通过上文的方程可以简单求解出均值和方差：
$$\{\begin{array}{l}{\Sigma }_w={({\sigma }^{-2}{X}^{T}X+{\Sigma }_p^{-1})}^{-1}\\ {\mu }^T={\sigma }^{-4}{X}^{T}X{Y}^{T}X+{\sigma }^{-2}{\Sigma }_p^{-1}{Y}^{T}X\end{array}$$

19.2.2 Prediction问题

Prediction问题是假设已有数据为$x^{\ast }$，要求在$y^{\ast }$的条件下的概率分布。

我们的条件有：
$$\{\begin{array}{l}f(x)=x^{T}w\\ w\backsim N({\mu }_w,{\Sigma }_w)\end{array}$$
此时我们已知$f(x^{\ast })={x^{\ast }}^{T}w$，可以根据参数的分布得到$P({x^{\ast }}^{T}w)$：
$$\begin{array}{rl}& w\backsim N({\mu }_w,{\Sigma }_w)\\ ⟹& {x^{\ast }}^{T}w\backsim N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast })\end{array}$$
实际情况是我们要求解$y=f(x^{\ast })+\epsilon ,\epsilon \backsim N(0,{\sigma }^2)$，也就是求解分布$P(y^{\ast }|Data,x^{\ast })$​：
$$\begin{array}{rl}& \{\begin{array}{l}y={x^{\ast }}^{T}w+\epsilon ,\epsilon \backsim N(0,{\sigma }^2)\\ {x^{\ast }}^{T}w\backsim N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast })\end{array}\\ ⟹& P(y^{\ast }|Data,x^{\ast })=N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast }+{\sigma }^2)\end{array}$$