神经网络梯度爆炸、消失问题、门控循环单元GRU、长短期记忆LSTM

1. nn：w比1大，会造成激活函数、梯度爆炸。w比1小，梯度会消失。随机化初始权重有助于解决这个问题。
2. RNN同样有梯度消失问题，反向传播时后面的梯度很难传到前面的层，从而影响到前面的层的计算。梯度爆炸会发生数值溢出，可以通过修剪、缩放来解决。
3. GRU：记忆细胞C^<t>的作用是提供记忆的能力。候选值C^{^<t>}重写记忆细胞。更新门Γ_u是一个介于0和1之间的数，决定是否更新记忆细胞。相关Γ_r代表候选值和记忆细胞的相关性。
4. LSTM：更新门，遗忘门，输出门。更新门和遗忘门给了记忆细胞选择权去维持旧的值和更新新的值。偷窥孔连接其实就是三个门值不仅取决于a^<t-1>,x^<t>,还取决于c^<t-1>.
5. GRU简单点，适合创建大型结构，计算性能快。LSTM更灵活，大多数人还是会选择LSTM。

神经网络梯度爆炸、消失问题、门控循环单元GRU、长短期记忆LSTM

原文：https://www.cnblogs.com/biwangwang/p/11432803.html