AI解剖课堂 · Part 7 让 GPT 学习：预训练

第 69 章 GPT-1 → 2 → 3

Q. 从 GPT-1 到 GPT-3，两年里变大了多少？

1. GPT 不是一下子诞生的。2018 年 GPT-1，2019 年 GPT-2，2020 年 GPT-3，个头一年比一年大。
2. 把 1 亿个参数（第 12 章的旋钮）当作楼房的 1 层。GPT-1 有 1.17 亿个，只是一座 1 层的小房子。
3. GPT-2 有 15 亿个，成了 15 层的楼房。一年就长大了约 13 倍。
4. GPT-3 有 1750 亿个。会有多少层呢？屏幕都装不下了，我们往后退一退。
5. 足足 1750 层！是 GPT-2 的约 117 倍，GPT-1 的约 1500 倍。GPT-1 连一个点都看不见了。
6. 要把 128 层的上海中心大厦叠上约 14 座，才有这么高。是不是很惊人？
7. 个头变大的 GPT-3，只看几个例子就能解出新题（第 71 章）。为什么越大越聪明？下一章揭晓。

本章小结

• GPT-1（2018）1.17 亿 → GPT-2（2019）15 亿 → GPT-3（2020）1750 亿个参数。
• 如果 1 亿个 = 1 层：1 层小房子 → 15 层楼房 → 1750 层高塔。
• 两年变大约 1500 倍。个头变大后，出现了新的能力（第 71 章）。