AI解剖课堂 · Part 7 让 GPT 学习：预训练

第 63 章 教科书是互联网

Q. ChatGPT 到底是用什么书学习的？

1. ChatGPT 的教科书是互联网。新闻、百科、博客、书、代码……人写下的文字，被大量收集起来。
2. 可是收来的文字不能直接用。同一篇文字被复制了无数遍，还混着广告、乱码和脏话。
3. 所以要经过一座文字工厂。第一步是去重：一模一样或几乎一样的文字，只留一份，其余删掉。
4. 第二步是质量过滤。广告、没有意义的字符堆砌、同一句话反复说，这类学不到东西的文字都要筛掉。
5. 第三步是有害内容过滤。脏话、危险的内容，还有电话号码这类个人信息，都要拿掉。
6. 举个示意的例子：收集了 100 份，最后只剩 25 份。真实的比例因数据而异。
7. GPT-3 用这样挑出来的文字，学了约 3000 亿个词元。正如第 4 章所说，好数据造就好模型。

本章小结

• ChatGPT 的教科书 = 互联网上的海量文字（新闻、百科、书、代码……）。
• 不直接使用，而是经过 去重 → 质量过滤 → 有害内容过滤。
• 筛完之后量变少了，但好数据才能造就好模型。