RNN：
RNN ，是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。是包含循环的网络，允许信息的持久化。
循环进行学习，前期的学习知识，可以为后期所用。
长期依赖（Long-Term Dependencies）问题：
但是，如果当前需要的学习知识距离上次的知识经验距离较远，就会丧失连接如此远的就知识（信息）的能力。
理论上，RNN 绝对可以处理这样的 长期依赖 问题。
幸运的是，LSTM 并没有这个问题！
LSTM
Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习长期依赖信息。1997年提出。
LSTM 通过刻意的设计来避免长期依赖问题。
记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！
所有 RNN 都具有一种重复神经网络模块的链式的形式。
在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。
