AI解剖课堂 · Part 5 彻底搞懂注意力

第 52 章 用很多双眼睛看

Q. “学校”既想知道谁去，也想知道什么时候去。只看一次够吗？

1. 一句话里的关系有好几种：谁在做，什么时候，做什么。
2. 可是做一次注意力，比例只能定出一种。所以要做好几套 Q、K、V，一套叫一个头（head）。
3. 比如头 1 找“谁”，头 2 找“什么时候”，头 3 找“做什么”。同一个“学校”，看的地方却不一样。
4. 各个头不用互相等，同时、分别计算，各自交出一个“学校”的新向量。
5. 把这些结果横着接起来，再乘一次矩阵混成一个。好几双眼睛看到的信息，汇集到一个向量里。
6. GPT-3 每一层有 96 个头，一个头 128 格。96 × 128 = 12,288，正好等于词向量的大小。
7. 哪个头看什么，不是人定的，而是在训练中自己分好的。第 53 章来看看真正的头。

本章小结

• 一套 Q、K、V = 一个头。每个头看的关系不同。
• 各个头同时计算，结果接起来，再乘一次矩阵混合。
• GPT-3：每层 96 个头 × 128 格 = 12,288。分工是训练中自己形成的。