AI解剖课堂 · Part 3 把文字变成数字

第 34 章 周围的词透露意思

Q. 从来没人教过 AI 词的意思，它怎么知道“咖啡”和“绿茶”很像？

1. “昨天在咖啡馆喝了一杯热＿＿。”空格里该填什么？就算第一次见到这句话，看看周围的词也能猜出来。
2. 咖啡、绿茶、可可，能出现在同一个位置的词，意思也相近。词的意思由周围的词透露，这叫分布假说。
3. 2013 年的 Word2Vec 把这个想法变成了训练：看一个词，猜它周围的词，反复练习非常多次。
4. 练完以后，周围的词相似的那些词，向量就靠近了。而这期间没有任何人告诉它意思。
5. 神奇的是，方向里也藏着意思。从男人指向女人的箭头，和从国王指向女王的箭头几乎一样。
6. 所以算一算国王 − 男人 + 女人，就会落在女王旁边：(7, 2.5) − (2, 2) + (2, 5) = (7, 5.5)。
7. 北京 − 中国 + 日本 ≈ 东京也成立。真正的 Word2Vec 有几百维，不会总是这么准。这张地图是示意数据。
8. 词的意思由周围的词透露。GPT 的嵌入也是在猜下一个片段的过程中，用同样的方式学到意思的。

本章小结

• 分布假说：能出现在同一位置（周围的词相似）的词，意思也相近。
• Word2Vec（2013）：通过猜周围的词来练习，做出词向量。
• 方向里也藏着意思：国王 − 男人 + 女人 ≈ 女王。