AI解剖课堂 · Part 3 把文字变成数字

第 31 章 中文的词元更多吗？

Q. 听说同样的话用中文说，AI 的费用会更高，这是真的吗？

1. 把意思相同的句子分别用中文和英文写出来，数一数词元。词元数就是 AI 要读、要写的量。
2. 用 GPT-3 的分词器来切，英文是 7 块，中文却有 12 块。意思一样，中文是英文的 1.7 倍。
3. 虚线块很多吧？一个汉字是 3 个字节（第 28 章）。这个分词器把大多数汉字拆成了两块字节。
4. GPT-3 的分词器主要是用英文资料做成的，5 万块里只有 51 块含有完整的汉字。
5. 词元多就吃亏：费用按词元数算，一次能读多少也按词元数算，回答还会更慢。
6. 新的分词器学了很多汉字块。同一句话在 GPT-4 里是 8 块，在 GPT-4o 里只有 5 块，比英文还少。
7. 换成一段长文字来量：GPT-3 时中文约是英文的 2.6 倍，到了 GPT-4o 反而略少，约 0.9 倍。
8. 中文的词元更多吗？以前多很多，现在差不多，甚至更少。关键在于分词器是用什么文字学出来的。

本章小结

• 意思相同，不同语言的词元数也不同。费用、能读的量、速度都按词元数算。
• GPT-3 的分词器主要用英文资料做成，大多数汉字被切成两块字节。
• 学了很多汉字块的 GPT-4o 里，差距没有了（长文字：约 2.6 倍 → 约 0.9 倍）。