AI解剖课堂 · Part 11 毕业项目

第 93 章 做我自己的分词器

Q. 最适合我这份数据的词元，该怎么定？

1. 模型不能直接读文字，只读词元编号（第 29 章）。最简单的办法，是一个字当一个词元，标点也算一个。
2. 把谚语数据按字切开，一共 1,449 个词元，词元种类 506 种。换行也是一个词元。
3. BPE 会数一数哪两个片段总是挨在一起（第 30 章）。谚语里最常见的一对是“不”和“怕”，出现 7 次。
4. 把最常见的一对合成一个词元。词元种类多了一种，变成 507 种；词元总数少了 7 个，变成 1,442 个。
5. 一遍遍重复。合并 30 次后，词元变成 1,338 个。同样的文字，用更少的词元装下。
6. 合并越多越好吗？词元数会变少，但种类会变多，模型要学的嵌入也跟着变多。GPT-3 大约有 5 万种。
7. “动手试试”里做好的分词器，第 94 章的迷你 GPT 会直接拿来用。一次都不合并，就是一字一词元。

本章小结

• 一开始一个字 = 一个词元。谚语一共 1,449 个词元，506 种。
• BPE：把最常见的一对合并，种类多一种，总数变少。
• 我做的分词器会给第 94 章的模型用。不合并的话，就是按字切。