注意力机制：翻译时学会「对齐」
生成译文的每个词时，模型自己决定该看原句的哪几个位置，不再只靠一个固定长度的向量。
为什么重要
注意力从此进入神经网络。三年后，Transformer 把它变成整个模型的核心，连循环网络都不要了。
代价与争议
仍然建立在循环网络上，只能逐词顺序计算，训练慢、难以并行。
直接衍生出
出处: arxiv.org ↗
生成译文的每个词时，模型自己决定该看原句的哪几个位置，不再只靠一个固定长度的向量。
注意力从此进入神经网络。三年后，Transformer 把它变成整个模型的核心，连循环网络都不要了。
仍然建立在循环网络上，只能逐词顺序计算，训练慢、难以并行。
出处: arxiv.org ↗