AI解剖课堂 · Part 5 彻底搞懂注意力

第 44 章 Attention Is All You Need

Q. 成为 ChatGPT 骨架的那篇论文，为什么说“只要注意力就够了”？

1. 2017 年，在谷歌一起做研究的 8 个人发表了一篇论文，题目是“Attention Is All You Need”：只要注意力就够了。
2. 这是 8 位作者的名字。论文脚注写着“作者顺序是随机的”，意思是大家的贡献一样大。
3. 那时翻译器的主角是 RNN（第 40 章）。它按顺序一个词一个词地读，前一格算完才能算下一格。
4. 第 43 章的注意力只是 RNN 的帮手。这篇论文反过来问：把 RNN 拿掉，只留下注意力，会怎样？
5. 那就不用等前一格了。所有词同时互相看，GPU 可以一口气全部算完（第 41 章）。
6. 这样做出的模型就是 Transformer。它在翻译测试里超过了当时的最高分，训练时间也短得多。
7. GPT 也是用 Transformer 做的，GPT 的 T 指的就是它。从 2018 年的 GPT-1 到 ChatGPT 都是。
8. 这一部分，我们要把这篇论文的心脏——注意力——一块一块拆开看。先从第 45 章词与词互相看开始。

本章小结

• 2017 年的“Attention Is All You Need”：在谷歌做研究的 8 个人的论文。
• 拿掉 RNN、只留注意力，所有词就能同时计算了。
• 这个结构叫 Transformer，GPT 的 T 就是 Transformer。