AI解剖课堂 · Part 5 彻底搞懂注意力

第 46 章 Query · Key · Value

Q. 句子里的词，是怎么决定要看谁的？

1. 第 45 章里，“包”会多看关系密切的词。量“关系”的办法，很像在图书馆里找书。
2. 去图书馆，你心里先有想找的东西：“有没有上学路上的故事？”这张问题卡就是 Query。
3. 书脊上贴着标签。把问题和标签对一对，挑出最合得来的书。这个标签就是 Key。
4. 翻开挑中的书，里面是内容，也就是真正拿走的信息，这就是 Value。用标签来挑，把内容拿走。
5. 句子里的词也一样。每个词都拿着三张卡：用来问的 Q，介绍自己的 K，要交出去的 V。
6. “学校”的问题像是“谁做什么？”。它和“去”的标签最合得来，所以从“去”那里拿走最多的内容。
7. 卡片是用词向量乘矩阵做出来的（第 11 章）。“学校”的向量 (1, 1) 乘上三个矩阵，就得到 Q、K、V。
8. 矩阵里的数字是训练出来的。问题和标签有多合得来，下一章用第 9 章的点积来量。

本章小结

• Query 是我要找的东西，Key 是介绍自己的标签，Value 是要交出去的内容。
• 用问题对标签来决定看谁，内容就按看的多少拿走。
• Q、K、V = 词向量 × 矩阵（第 11 章）。矩阵里的数字是训练出来的。