AI解剖课堂 · Part 0 ChatGPT，你是谁？

第 5 章 我们要组装的设计图

Q. 打开 ChatGPT 这台机器，里面到底装着什么？

1. 把前面的内容总结一下：ChatGPT 是一台猜下一个片段的机器。现在该把它拆开看看了。
2. 最前面有三个零件：把文字切成片段的分词器、把片段变成数字的嵌入，还有告诉模型第几个片段的位置信息。
3. 中间是 Transformer 块。片段之间互相看的注意力，加上添加“思考”的前馈网络，组成一套，叠了几十层。
4. 最后用 Softmax 算出下一个片段的概率，抽一个接到末尾。然后再回到最上面。
5. 可是零件里的数字一开始乱七八糟。要用海量文字练习猜下一个片段，一点点改数字。这就是预训练。
6. 最后，再靠示范答案和人的夸奖学会怎么对话。这样就成了 ChatGPT。
7. 接下来，我们会一个 Part 一个 Part 地填满这张设计图。目前已经填好了“抽取并接上”和“训练数据”。出发吧！

本章小结

• 分词器 → 嵌入 + 位置 → [注意力 + 前馈网络] × 几十层 → Softmax → 抽取并接上。
• 一开始乱七八糟的数字，要靠预训练改好。
• 再用示范答案和人的评价学会对话，就成了 ChatGPT。