AI解剖课堂 · Part 11 毕业项目

第 92 章 设计迷你 GPT

Q. 把 ChatGPT 缩到非常小，我能亲手做一个吗？

1. 终于到毕业项目了。我们要用学过的部件做一个真正的小 GPT，并在自己的手机上亲手训练它。
2. 一共四步：挑选数据，做分词器，训练模型，最后用它来写句子。
3. 设计图和 GPT-3 一模一样（第 5 章）。只是块从 96 层变成 1 层，词元向量从 12,288 格变成 32 格。
4. 注意力头只有 1 个，一次读 24 个词元。词元 506 种就够了，谚语里的字和标点差不多就这么多。
5. 数一数旋钮（参数）：GPT-3 有 1750 亿个，迷你 GPT 有 30,106 个，大约是它的 580 万分之一。
6. 但它做的事是一样的：读一段文字，给出下一个片段的概率。这是事先训练好的迷你 GPT 的真实回答。
7. 读谚语就写谚语，读童谣就写歌词，读课本句子就写说明文。模型会变得像它读过的文字。
8. 数据约 4KB，约 1,450 个词元，和 GPT-3 读的 3000 亿个比微不足道，但够用了。来挑一挑吧？

本章小结

• 迷你 GPT 和 GPT-3 用的是同一张设计图，只是层数、向量格数、头数都很小。
• 旋钮 30,106 个，大约是 GPT-3 的 580 万分之一。
• 模型会变得像它读过的文字，所以第一步是挑选数据。