L1_homework

第一题

证明高斯分布积分为1，即$1={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi {\delta }^2}}exp(-\frac{(x-\mu {)}^2}{2{\delta }^2})dx$

证：
$$设I={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi {\delta }^2}}exp(-\frac{(x-{\mu }_x{)}^2}{2{\delta }^2})dx$$

$$={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi {\delta }^2}}exp(-\frac{(y-{\mu }_y{)}^2}{2{\delta }^2})dy$$

则：
$$I^2=\frac{1}{2\pi {\delta }^2}{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }exp(-\frac{1}{2{\delta }^2}[(x-{\mu }_x{)}^2+(y-{\mu }_y{)}^2\left]\right)dxdy$$
令：
$$x-{\mu }_x=r\cos \theta ,y-{\mu }_y=r\sin \theta$$

则有：
$$dxdy=\det |J|drd\theta$$

$$\det |J|=\left|\begin{array}{cc}\cos \theta & \sin \theta \\ -r\sin \theta & r\cos \theta \end{array}\right|=r$$

带入前式：
$$I^2=\frac{1}{2\pi {\delta }^2}{\int }_0^{2\pi }{\int }_0^{+\infty }exp(-\frac{r^2}{2{\delta }^2})rdrd\theta$$

$$=\frac{1}{2\pi {\delta }^2}\ast {\delta }^2{\int }_0^{2\pi }d\theta =1$$

则${\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi {\delta }^2}}exp(-\frac{(x-\mu {)}^2}{2{\delta }^2})dx=I=1$

第二题

假设$u,v$时两个相同维度的列向量，请证明等式：$u^{T}v=tr(v{u}^T)$

证:
设$$u=\left[\begin{array}{c}{x}_1\\ x_2\\ \cdots \\ x_n\end{array}\right],v=v=\left[\begin{array}{c}{y}_1\\ y_2\\ \cdots \\ y_n\end{array}\right]$$

则$$u^{T}v=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ \cdots \\ y_n\end{array}\right]=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$$

$v{u}^T=\left[\begin{array}{c}{y}_1\\ y_2\\ \cdots \\ y_n\end{array}\right]\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]=\left[\begin{array}{cccc}{x}_1{y}_1& x_2{y}_1& \cdots & x_n{y}_1\\ x_1{y}_2& x_2{y}_2& \dots & x_n{y}_2\\ ⋮& ⋮& \ddots & ⋮\\ x_1{y}_3& x_2{y}_3& \cdots & x_n{y}_n\end{array}\right]$

$tr(v{u}^T)=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n=u^{T}v$

第三题

对于高斯分布的随机变量，$x～N(\mu ,\Sigma )$，请证明等式：$\mu =E[x]={\int }_{-\infty }^{+\infty }xp(x)dx$

证：
$${\int }_{-\infty }^{+\infty }xp(x)dx=\frac{1}{\sqrt{2\pi {\delta }^2}}{\int }_{-\infty }^{+\infty }xexp(-\frac{(x-\mu {)}^2}{2{\delta }^2})dx$$

$$={\frac{1}{\sqrt{2\pi {\delta }^2}}(-{\delta }^{2}exp(-\frac{(x-\mu {)}^2}{2{\delta }^2}\left)\right|}_{-\infty }^{+\infty }+{\int }_{-\infty }^{+\infty }\mu exp(-\frac{(x-\mu {)}^2}{2{\delta }^2})dx)$$

$$=0+\mu =\mu =E[x]$$
注：此题直接使用到第一题的结论。

第四题

对于高斯分布的随机变量，$xN(\mu ,\Sigma )$，请证明如下等式：
$$\Sigma =E[(x-\mu )(x-\mu {)}^T]={\int }_{-\infty }^{+\infty }(x-\mu )(x-\mu {)}^{T}p(x)dx$$

证：

令$X=x-\mu$，则：
$${\int }_{-\infty }^{+\infty }(x-\mu )(x-\mu {)}^{T}p(x)dx=\frac{1}{\sqrt{2\pi \Sigma }}{\int }_{-\infty }^{+\infty }{X}^{2}exp(-\frac{X^2}{2\Sigma })dX$$

$$={\frac{1}{\sqrt{2\pi \Sigma }}\left[-\Sigma Xexp(-\frac{X^2}{2\Sigma })+\Sigma \int exp(-\frac{X^2}{2\Sigma }))\right]|}_{-\infty }^{+\infty }$$

$$=\frac{1}{\sqrt{2\pi \Sigma }}\left(0+\Sigma {\int }_{-\infty }^{+\infty }exp(-\frac{X^2}{2\Sigma })\right)=\frac{1}{\sqrt{2\pi \Sigma }}\ast \Sigma \ast \sqrt{2\pi \Sigma }=\Sigma$$

注：此题使用部分积分，并直接使用到第一题的结论。

第五题

对于K个相互独立的高斯变量，$x_{k}N({\mu }_k,{\Sigma }_k)$,请证明他们的归一化积仍然是高斯分布：
$$exp\left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)=\eta \prod _{k=1}^{K}exp(-\frac{1}{2}(x_k-{\mu }_k{)}^T{\Sigma }_k^{-1}(x_k-{\mu }_k))$$
其中：
$${\Sigma }^{-1}=\sum _{k=1}^K{\Sigma }_k^{-1},{\Sigma }^{-1}\mu =\sum _{k=1}^K{\Sigma }_k^{-1}{\mu }_k$$
$\eta$为归一化因子。

证：
$$\prod _{k=1}^K\frac{1}{\sqrt{2\pi {\Sigma }_k}}exp(-\frac{1}{2}(x_k-{\mu }_k{)}^T{\Sigma }_k^{-1}(x_k-{\mu }_k))$$

$$=\prod _{k=1}^K\frac{1}{\sqrt{2\pi {\Sigma }_k}}\ast exp(\sum _{k=1}^K-\frac{1}{2}(x_k-{\mu }_k{)}^T{\Sigma }_k^{-1}(x_k-{\mu }_k))$$

$$=\prod _{k=1}^K\frac{1}{\sqrt{2\pi {\Sigma }_k}}\ast \prod _{k=1}^{K}exp(-\frac{1}{2}(x_k^T{\Sigma }_k^{-1}{x}_k-x_k^T{\Sigma }_k^{-1}{\mu }_k-{\mu }_k^T{\Sigma }_k^{-1}{x}_k-{\mu }_k^T{\Sigma }_k^{-1}{\mu }_k))$$

$$=\prod _{k=1}^K\frac{1}{\sqrt{2\pi {\Sigma }_k}}\ast exp(-\frac{1}{2}(x^T\sum _{k=1}^K{\Sigma }_k^{-1}x-x^T\sum _{k=1}^K{\Sigma }_k^{-1}{\mu }_k-\sum _{k=1}^K{\mu }_k^T{\Sigma }_k^{-1}x-\sum _{k=1}^K{\mu }_k^T{\Sigma }_k^{-1}{\mu }_k))$$

令：
$$A=\sum _{k=1}^K{\Sigma }_k^{-1}{\mu }_k,{\Sigma }^{-1}=\sum _{k=1}^K{\Sigma }_k^{-1},M=A^T{\Sigma }^{-1}A$$

带入前式，得到：
$$=\eta exp(-\frac{1}{2}(x^T\sum _{k=1}^K{\Sigma }_k^{-1}x-x^T\sum _{k=1}^K{\Sigma }_k^{-1}{\mu }_k-\sum _{k=1}^K{\mu }_k^T{\Sigma }_k^{-1}x-\sum _{k=1}^K{\mu }_k^T{\Sigma }_k^{-1}{\mu }_k))$$

$$=\eta exp\left[-\frac{1}{2}(x^T\sum _{k=1}^K{\Sigma }_k^{-1}x-x^T\sum _{k=1}^K{\Sigma }_k^{-1}{\mu }_k-\sum _{k=1}^K{\mu }_k^T{\Sigma }_k^{-1}x+M)+\frac{1}{2}M+\frac{1}{2}\sum _{k=1}^K{\mu }_k^T{\Sigma }_k^{-1}{\mu }_k\right]$$

$$=\eta exp\left[\frac{1}{2}M+\frac{1}{2}\sum _{k=1}^K{\mu }_k^T{\Sigma }_k^{-1}{\mu }_k\right]exp\left[-\frac{1}{2}(x^T{\Sigma }^{-1}x-x^{T}A-A^{T}x+A^T{\Sigma }^{-1}A)\right]$$

$$={\eta }^{{}^{\prime }}exp\left[-\frac{1}{2}(x^T{\Sigma }^{-1}x-x^T{\Sigma }^{-1}({\Sigma }^{-1}{)}^{-1}A-A^T({\Sigma }^{-1}{)}^{-1}{\Sigma }^{-1}x+A^T{\Sigma }^{-1}A)\right]$$

$$={\eta }^{{}^{\prime }}exp\left(-\frac{1}{2}[x-({\Sigma }^{-1}{)}^{-1}A{]}^T{\Sigma }^{-1}[x-({\Sigma }^{-1}{)}^{-1}A]\right)$$

所以：
$$\mu =({\Sigma }^{-1}{)}^{-1}A=({\Sigma }^{-1}{)}^{-1}\sum _{k=1}^K{\Sigma }_k^{-1}{\mu }_k,{\Sigma }^{-1}=\sum _{k=1}^K{\Sigma }_k^{-1}$$

注：如有错误，欢迎指正。