AI解剖课堂 · Part 6 组装 Transformer

第 62 章 Part 6 Boss 战：设计图完成

Q. 部件都集齐了。能按正确的顺序组装起来，完成 GPT 吗？

1. 在 Part 6，我们把模块的部件一个个集齐了。现在把它们全部组装起来，完成设计图吧！
2. 先从模块的一层开始。归一化 → 注意力 → 相加，再来一次归一化 → 前馈网络 → 相加。
3. 把这个模块叠 96 层。多亏了高速公路和归一化，叠得再深也不会不稳。
4. 前面是分词器、嵌入和位置信息，它们把文字变成向量送进来（Part 3）。
5. 后面是输出 + Softmax，算出下一个词的概率，再抽出一个接到句子末尾。
6. 设计图上机器的部分全部填好了！一个输入文字、就能说出下一个词的 GPT 完成了。
7. 可是部件里的 1750 亿个数字还是一团乱。Part 7 要让这些数字好好学习，这就是预训练。

本章小结

• 模块的一层：归一化 → 注意力 → 相加 → 归一化 → 前馈网络 → 相加。把它叠 96 层。
• 设计图：分词器 → 嵌入 → 位置信息 → 模块 × 96 → 输出 + Softmax → 抽取并接上。
• 机器完成了！接下来是让 1750 亿个数字好好学习的预训练（Part 7）。