AI解剖课堂 · Part 7 让 GPT 学习：预训练

第 64 章 没有答案的学习

Q. 互联网上的文字没有标准答案，GPT 是靠什么判对错的？

1. 第 4 章的垃圾邮件过滤器，要靠人标上“垃圾”“正常”的答案。可互联网上所有的文字，不可能都标上答案。
2. 秘诀是：文字本身就是答案。我们拿一个句子来看：“我今天去学校。”
3. 只给出前面的部分、遮住下一个片段，就成了一道题。“我”后面是？答案是紧跟着的“今天”。
4. 每多给一格，就又多一道题。“我 今天”后面是“去”，“我 今天 去”后面是“学校”。
5. 5 个片段的句子，出了 4 道题。答案不是人给的，而是文字自己告诉我们的。这叫作自监督学习。
6. 模型一次就把这 4 道题全做了。多亏第 51 章的帘子，每个位置都只能看到自己前面的内容。
7. GPT-3 看过的约 3000 亿个词元，全都是这样的题。一张答案纸都没有，就生出了约 3000 亿道题。

本章小结

• 只给出句子的前半部分，让模型猜下一个片段，就成了一道题。
• 答案就是文字里紧跟着的那个片段。不需要人来标答案 = 自监督学习。
• N 个片段的句子 → N − 1 道题。整个互联网都成了习题集。