关于序列建模，是时候抛弃RNN和LSTM了

正文

请到「今天看啥」查看全文

RNN、LSTM 和其变体主要对时序数据进行序列处理。如下图中的水平箭头部分：

RNN 中的序列处理过程，来自《Understanding LSTM Networks》

这些箭头表明，在长期信息访问当前处理单元之前，需要按顺序地通过所有之前的单元。这意味着它很容易遭遇梯度消失问题。

为此，人们开发了 LSTM 模型，LSTM 可以视为多个转换门的合并。ResNet 也借鉴于这种结构，它可以绕过某些单元从而记忆更长时间步的信息。因此，LSTM 在某种程度上可以克服梯度消失问题。

LSTM 中的序列处理过程，来自《Understanding LSTM Networks》

但这并不能完全解决该问题，如上图所示。LSTM 中仍然存在按顺序地从过去单元到当前单元的序列路径。实际上，现在这些路径甚至变得更加复杂，因为路径上还连接了加如记忆的分支和遗忘记忆的分支。毫无疑问，LSTM、GRU 和其变体能学习大量的长期信息（参见《The Unreasonable Effectiveness of Recurrent Neural Networks》），但它们最多只能记住约 100s 的长期信息，而不是 1000s 或 10000s 等。

请到「今天看啥」查看全文