AI解剖课堂 · Part 5 彻底搞懂注意力

第 47 章 相关度分数

Q. “学校”的问题和“去”的标签有多合得来，能用一个数字量出来吗？

1. 第 46 章给每个词做好了 Q 和 K 卡片。现在给“学校”的问题和每个词的标签打分，看合得来多少。
2. 办法是第 9 章的点积：同一格相乘再相加。“学校”的 Q (1, 2) 和“去”的 K (1, 1) 是 1×1 + 2×1 = 3。
3. 画成箭头看，指向越一致，分数越大。“今天”的 K 方向不同，所以是 1×1 + 2×(−1) = −1。
4. 其余的也算一算：“我”是 2，自己“学校”是 1。这四个数就是“学校”打出的相关度分数。
5. 其他词也都会提问。4 个词各和 4 个词对一遍，就填满了一张 16 格的分数表。
6. 行是提问的词，列是回答的词。在同一行里比较，决定看谁。“我”这一行里，“今天”是第 1 名。
7. 可是分数有负数，每一行的总和也各不相同。下一章要把这些分数变成看的比例。

本章小结

• 相关度分数 = Q · K（点积，第 9 章）。同一格相乘，再全部加起来。
• 指向越一致分数越大，方向相反就是负数。
• 所有词互相打分，就得到分数表。行 = 提问的词，列 = 回答的词。