AI解剖课堂 · Part 3 把文字变成数字

第 33 章 嵌入：意义的坐标

Q. “小狗”和“小猫”很像，这件事要怎么用数字表示？

1. 不用独热编码，改给每个词一串短短的数字。小狗是 [0.8, 0.7, −0.2]。把词变成这样一串数字，就叫嵌入。
2. 有三个数字，就是三维空间里的一个点。词语像星座一样悬浮在空间里。
3. 意思相近的词会聚在一起：动物和动物，水果和水果。就像把第 8 章的词语地图搬进了三维空间。
4. 像不像，可以用点积来量（第 9 章）。小狗·小猫是 1.11，小狗·公交车是 −0.58。方向越一致，值越大。
5. 模型里有一张嵌入表，一行对应一个词元。用词元编号找到那一行，取出来用就行。
6. 一开始，表里的数字是随便填的。在练习猜下一个片段的过程中，相近的词慢慢找到了自己的位置。
7. 真实的规模呢？GPT-3 每个词元有 12,288 个数字，大约 5 万行。光这张表就有 6 亿多个数字。
8. 把词元变成意义坐标的嵌入，是设计图的第二个零件。下一章看看这些坐标是怎么获得意思的。

本章小结

• 嵌入：给每个词元一串短短的数字（向量）。这些数字就是坐标。
• 意思相近的词放得近、方向也相近（距离见第 8 章，点积见第 9 章）。
• 嵌入表里的数字是训练出来的。GPT-3 的表里有 6 亿多个数字。