目录：
1、RNN
2、GRU
3、LSTM
一、RNN
1、RNN结构图如下所示：
其中：
$a^{(t)} = \boldsymbol{W}h^{t-1} + \boldsymbol{W}_{e}x^{t} + \mathbf{b}$
$h^{t} = f(a^{t})$, f 是激励函数，sigmoid或者tanh
$\hat{y}^{t} = Uh^{t}$
2、RNN中的梯度消失与梯度膨胀
二、GRU
三、LSTM
原文：https://www.cnblogs.com/zhaopAC/p/10240968.html