AI解剖课堂 · Part 5 彻底搞懂注意力

第 49 章 混合出新意思

Q. 知道了看每个词的比例，那要按这个比例拿走什么、怎么拿？

1. 第 48 章算出了“学校”看每个词的比例：去 55.7%、我 27.5%、学校 13.5%、今天 3.3%。
2. 现在把每个词的 Value，也就是书里的内容拿出来。它是装着每个词要交出的信息的向量，用颜色来区分。
3. 想象一下调颜料：按比例挤出颜料，倒进一个杯子里。“去”的颜料倒得最多。
4. 换成数字，就是把比例 × Value 全部加起来。比如“去”的份额是 0.557×(3, 2)。四个词的份额加在一起。
5. 结果约是 (2.25, 1.52)，这是混入上下文后新得到的“学校”的向量，装得最多的是“去”的信息。
6. 比例加起来是 1，所以混合的结果总落在各个 Value 之间，并且被拉向看得多的那个词。
7. 第 45 章里“包”往“背的包”那边移动，用的就是这个计算。按比例相乘再相加，叫加权和。
8. 到现在只算了“学校”一个词。下一章用矩阵把所有词一次算完。

本章小结

• 按看的比例乘上 Value，再全部加起来。这就是加权和。
• 比例加起来是 1，所以结果总在各个 Value 之间。
• 看得多的词，它的信息混进得多，形成新的向量（第 45 章的“包”）。