AI解剖课堂 · Part 8 ChatGPT 的诞生

第 72 章 聪明却不听话的模型

Q. 读了海量网络文字的模型，你问它问题，它会马上回答吗？

1. 在 Part 7，有个模型用网络文字学完了“猜下一个片段”。它叫作基础模型（base model）。
2. 我们来问问它：“中国的首都是哪里？”它当然会回答北京吧？
3. 可它没有回答，反而接着写问题：日本的首都呢？韩国的首都呢？就像一份考题清单。
4. 在模型眼里，这句话像是习题集的第一行。网上有大量“问题后面还是问题”的文字。
5. 基础模型学会的只是“像模像样地往下写”（第 2 章）。它从没学过要回答问题。
6. 于是人们想了个办法：用“问：… 答：”的样子开头，下一个片段是答案的概率就会大大提高。
7. 可总不能每次都耍小聪明。把这个聪明却不听话的模型教得听话，就是 Part 8 要讲的故事。

本章小结

• 基础模型只用网络文字学过“猜下一个片段”。
• 给它一个问题，它可能不回答，而是像习题集一样继续写问题。
• 改变文字的样子能引出答案，但根本的办法是另外教它。