AI解剖课堂 · Part 3 把文字变成数字

第 29 章 词元：AI 读文字的单位

Q. ChatGPT 读文章，是一个字一个字地读，还是一个词一个词地读？

1. ChatGPT 读文字之前，会先把它切成小块。这些小块叫词元，负责切的零件叫分词器。
2. 按字切怎么样？块数太多，而且把“自行车”拆成“自”“行”“车”，单看“行”，意思就说不清了。
3. 按词切呢？中文不写空格，得先判断词在哪里断开；词也多得数不完，“尊嘟假嘟”这样的新词不在词表里，就读不了。
4. 所以取中间。真实的 GPT-4o 分词器把这句话切成 8 块：常见的“今天”“学校”是整块，“自行车”却被切成了两块。
5. 每一块都有编号，“学校”是 73048 号。模型真正收到的不是文字，而是这一串编号。
6. 所有块的清单叫词表。GPT-3 认识大约 5 万块，GPT-4o 认识大约 20 万块。
7. 少见的词就拆成认识的小块：unbelievable 是 3 块，“尊嘟假嘟”是 6 块。所以没有读不了的词。
8. 把文字切块、编号的分词器，是设计图上的第一个零件。那么，这份块的清单是怎么做出来的？

本章小结

• 词元：AI 读文字的小块。常常比字大、比词小。
• 常见的组合是一整块，少见的词拆成好几个小块。
• 每块都有编号，模型收到的是这串编号。所有块的清单 = 词表。