AI解剖课堂 · Part 5 彻底搞懂注意力

第 45 章 词与词互相看

Q. “包”是吃的包子，还是背的包？AI 是怎么分辨的？

1. “包”这个字有好几个意思：可以吃的包子，背在身上的包，还有蚊子叮出来的包。
2. 在第 33 章学的嵌入里，“包”永远是同一个向量。所以单独看时，它在三种意思的正中间。
3. 现在把它放进句子里：“她肩上背着一个包”。
4. “包”环顾前面的词。关系越密切的词，线越粗，看得越多。
5. 再按看的多少，把那些词的意思混进来。“肩上”“背着”混得多，就往“背的包”那边移动了。
6. 句子换了会怎样？“早餐吃了豆沙包”。这次多看“早餐”和“豆沙”，就往“吃的包”那边去。
7. 像这样，每个词都看看句子里的其他词，修正自己的意思。这就是自注意力。
8. 那么关系有多密切，是怎么决定的？下一章用 Query、Key、Value 来揭晓。

本章小结

• 同一个词，上下文不同，意思也不同。
• 每个词都看前面的词，越相关的看得越多。
• 按看的多少把意思混起来，修正自己的意思。这就是自注意力。