AI解剖课堂 · Part 7 让 GPT 学习：预训练

第 70 章 越大越聪明

Q. 把模型变大 10 倍，会好多少？能不能事先知道？

1. 模型变大，真的会变聪明吗？2020 年，研究人员做了很多大小不同的模型，比较它们的损失。
2. 先用普通刻度画出来。小模型都挤在最左边，后面看起来几乎是平的。
3. 这次换一种横轴刻度。不是每走一格加 1，而是每走一格乘 10。
4. 这样一来，点就排成了一条直线。在这个示意的例子里，模型每变大 10 倍，损失就减少 0.5。
5. 这种每格乘 10 的刻度，叫作对数刻度。就像第 65 章的惊讶一样，数的是“乘了几次”。
6. 增加数据量或计算量，也同样得到一条直线。这个规律叫作缩放定律。
7. 把线一直延长，就能提前预测更大模型的损失。所以人们才敢去挑战 GPT-3 这样的大模型。
8. 2022 年的 Chinchilla 研究说：不能只把模型变大，数据也要一起加，大约每个参数配 20 个词元。

本章小结

• 把横轴换成每格乘 10 的刻度（对数刻度），损失就沿着一条直线下降。
• 增加大小、数据、计算量，损失就会按可以预测的方式下降 = 缩放定律（2020）。
• 把线延长，就能预测大模型。数据也要一起增加（Chinchilla，2022）。