论文Google（Sutskever 等）2014 年 9 月 10 日

Seq2Seq：编码器—解码器

用一个 LSTM 把整句话读成一个向量，再用另一个 LSTM 逐词生成译文。

为什么重要

确立了「编码器读入、解码器生成」的框架。Transformer 沿用的正是这个整体结构，只是把里面的循环网络换成了注意力。

代价与争议

整句话被压进一个固定长度的向量，句子一长，信息就丢得厉害。

直接衍生出

Transformer

出处: arxiv.org ↗

在 3D 时间轴上查看 →