AI解剖课堂 · Part 7 让 GPT 学习：预训练

第 71 章 只看例子也能学会

Q. 一个数字都没改，模型能学会新本事吗？

1. 2020 年介绍 GPT-3 的论文，题目是《语言模型是少样本学习者》。意思是只看几个例子，就能完成新任务。
2. 只给出“快 →”，模型不知道你要什么。你想要反义词，它却容易像“快点走”那样把话接下去。
3. 在前面加一个例子：“大 → 小”。现在它开始察觉，箭头后面该接反义词。
4. 加上三个例子，“慢”就几乎确定了。神奇的是，模型里的数字一个都没变。
5. 这就是上下文学习。它不像第 66 章那样修改数字，而是从提示词里的例子中读出规律。
6. 按例子的个数画出正确率：例子越多，正确率越高。而且模型越大，从例子里得到的好处越多。
7. 不给例子叫零样本，给一个叫单样本，给好几个叫少样本。放例子的诀窍，第 85 章讲提示词时还会用到。
8. Part 7 让 GPT 学习：教科书、猜下一个片段、减少惊讶、训练循环、规模的力量。接下来，该学对话了！

本章小结

• 在提示词里给出例子，模型当场读出规律并照着做 = 上下文学习。
• 模型里的数字不变。0 个例子是零样本，1 个是单样本，好几个是少样本。
• Part 7：互联网教科书 → 猜下一个片段 → 减少惊讶 → 训练循环 → 规模的力量。