AI解剖课堂 · Part 8 ChatGPT 的诞生

第 77 章 对话其实是一份长文档

Q. ChatGPT 怎么分清哪句是我说的，哪句是它自己说的？

1. 在聊天界面里，气泡一来一回：我问，ChatGPT 答，我再问。
2. 可是进入模型时，并没有气泡。整段对话被接在一起，变成一篇长长的文字。
3. 为了分清是谁说的，会插入特殊的标记词元，比如“从这里开始是用户”“从这里开始是助手”。
4. 最前面还有一段用户看不到的系统提示词（system prompt），写着模型要扮演的角色和说话语气。
5. 比如是这个样子。标记长什么样，各家公司、各个模型都不一样，但思路完全相同。
6. 文字最后只放一个“轮到助手”的标记，后面空着。模型只是像第 1 章那样，预测下一个片段接着写。
7. 写完就输出结束标记，停下来（第 2 章）。第 73 章的示范答案也是这个样子，所以这里会出现回答。
8. 对话越长，这份文档也越长。模型每次都要把前面的对话全部重读一遍。第 83 章再细说。

本章小结

• 对话会变成一篇用标记词元隔开的长文档，送进模型。
• 最前面的系统提示词，是用户看不到的指令。
• 在最后“轮到助手”的位置，模型只是接着写下一个片段。