AI解剖课堂 · Part 11 毕业项目

第 96 章 毕业典礼

Q. 96 章组装起来的 ChatGPT，从头到尾一口气走一遍吧？

1. 毕业典礼到了。第 5 章拿到的那张满是空格的设计图，现在每一格都填满了。从头到尾飞一遍吧？
2. “我 今天 去”一进来，分词器就把它切成片段（第 29 章），嵌入给每个片段贴上意义坐标（第 33 章）。
3. 位置信息加上“这是第几个”（第 36 章），块里的注意力让片段互相看、把意思混在一起（第 45 章）。
4. 前馈网络给每个片段加上“思考”（第 55 章），这样的块要叠几十层。GPT-3 有 96 层。
5. 最后的向量变成约 5 万个词元的分数，经 Softmax 变成概率（第 60、14 章）。学校 52%，图书馆 21%。
6. 抽一个接上，再回到最上面（第 2 章）。旋钮靠预训练调好，对话的本事靠示范答案和夸奖学会。
7. 而你，已经用这张设计图亲手训练了一个迷你 GPT。只是大小不同，它们是同一种机器。
8. AI解剖课堂 96 章全部学完了。现在你能讲清 ChatGPT 是怎么回答问题的了。恭喜你！

本章小结

• 分词器 → 嵌入 + 位置 → [注意力 + 前馈网络] × N → 输出 + Softmax → 抽取并接上。
• 旋钮靠预训练调好，对话靠示范答案和夸奖来学。
• 我也用同一张设计图训练了迷你 GPT。不同的只有大小。