AI解剖课堂 · Part 4 Transformer 之前的故事

第 43 章 注意力的诞生

Q. 如果翻译时可以回头再看原文，AI 翻译会好多少？

1. 为了解决第 42 章的瓶颈，2014 年 Bahdanau 的团队换了个思路：别只留最后一张纸条，把所有纸条都留下来！
2. 解码器写“I”时，扫一遍留下的纸条，把聚光灯打在现在需要的地方。“我”占了 84%。
3. 接着写“go”，聚光灯跳过“今天”，照向“去”。两种语言的顺序不一样也没关系。
4. “to”照着“去”，“school”照着“学校”，“today”又跳回前面的“今天”。每写一个词，看的地方都不同。
5. 照多亮，是把相关度分数用 Softmax（第 14 章）变成比例来决定的。再按比例把纸条混在一起交给解码器。
6. 把看过的地方画成表，就能看出一条条对应关系。因为是在给词配对，所以叫对齐（alignment）。
7. 来总结一下 Part 4：数一数（n-gram）、神经网络和词向量、传纸条（RNN），一路走到了注意力。
8. 然后到了 2017 年，有人问：干脆不要传纸条，只用注意力来做，会怎样？Part 5 见。

本章小结

• 注意力（2014）：解码器每写一个词，都回头看原文的所有纸条。
• 相关度分数 → Softmax → 比例。按这个比例把纸条混起来用。
• 顺序不同的语言、很长的句子都没问题。2017 年干脆只用注意力（Part 5）！