AI解剖课堂 · Part 3 把文字变成数字

第 35 章 探索嵌入宇宙

Q. 在词语地图上，“小狗”旁边住着谁？“包”又在哪儿？

1. 来探索一下我们做出的嵌入宇宙吧。31 个词摊在一张二维地图上，位置是示意数据。
2. 搜索“小狗”，离得近的词会依次亮起来：兔子、小猫、仓鼠……全都是动物。
3. 远近是按距离排的（第 8 章）。真正的 AI 搜索更常用点积（第 9 章），比较方向有多一致。
4. 还可以玩“找不同”：饺子、面条、米饭、钥匙。只有钥匙孤零零地离得很远。
5. 那“包”在哪儿呢？它夹在食物、随身物品和身体三群之间，因为它有好几个意思。
6. 一个词只有一个位置，到底是哪种包，要看句子才知道。这个问题由第 45 章的注意力来解决。
7. 真实的嵌入，以 GPT-3 为例有 12,288 维。这张地图是把它压成二维的影子，所以有些地方会变形。
8. 在嵌入宇宙里，近就是像，方向代表关系。现在，词变成了带着意思的数字。

本章小结

• 在嵌入空间里，离得近的词意思也相近。搜索 = 找最近的点。
• 像“包”这样有好几个意思的词，会夹在几群词之间。
• 到底是哪个意思，要看句子才知道。这件事由注意力（第 45 章）来做。