AI解剖课堂 · Part 5 彻底搞懂注意力

第 53 章 看看真 GPT 的脑袋里

Q. 真正的 GPT 里，那些头真的在“看”着什么吗？

1. 终于要打开真正的 GPT 了。这是 GPT-2 里最小的模型：12 层，每层 12 个头，一共 144 个。
2. 放进一句英文，把一个头看各个词的比例画成地图。行是正在看的词，列是被看的词。
3. 这是第 4 层的 11 号头。每个词都几乎 100% 只看前一个词，所以只有对角线正下方的格子是深色的。
4. 在第 7 层的 2 号头，几乎所有词都看第一个词“The”。在这句话里，144 个头中有 98 个把一半以上的注意力放在第一个词上。
5. 把同一句话放两遍。在第 5 层的 1 号头，第二个“my”有 51% 在看第一次“my”后面的“dog”。
6. 在第 4 层的 3 号头，“it”有 84% 在看“cat”。看起来像是在找“it”指的是谁。
7. Part 5 把注意力彻底拆开看了：Q · K 分数、√d 和 Softmax、混合 V、矩阵计算、帘子，还有多个头。
8. 现在我们完全知道设计图里注意力零件做的事了。Part 6 要把零件叠起来，组装 Transformer 块（第 54 章）。

本章小结

• 真正的 GPT-2（最小的模型）：12 层 × 每层 12 个头 = 144 个头。
• 真的有只看前一个词的头、集中看第一个词的头、照着前文重复的头。
• Part 5 结束：分数（Q · K）→ ÷ √d → Softmax → 混合 V。加上帘子，用多个头来算。