理解门控循环单元GRU

传统的RNN网络不能捕捉长期依赖，且随着训练层数的增加容易产生梯度消失问题，基于此，Yu Young Chang等人提出了GRU单元。
GRU单元的核心思想：

如何做到：
通过对普通RNN隐藏层单元的修改，

普通RNN隐藏层单元：
$a^{<t>}=g(W_a[a^{t-1},x^{<t>}]+b_a)$
GRU单元: 引入一个记忆细胞向量 $c^{<t>}$,更新门向量${\Gamma }_u$，相关门向量${\Gamma }_r$
具体公式：
更新记忆细胞：
${\tilde{c}}^{<t>}=tanh(W_c[{\Gamma }_r\ast c^{<t-1>},x^{<t>}]+b_c)$
更新门：
${\Gamma }_u=\sigma (W_u[c^{<t-1>},x^{<t>}]+b_u$
相关门：
${\Gamma }_r=\sigma (W_r[c^{<t-1>},x^{<t>}]+b_r$
更新记忆细胞公式：
$c^{<t>}={\Gamma }_u\ast {\tilde{c}}^{<t>}+(1-{\Gamma }_u)+c^{<t-1>}$