AI解剖课堂 · Part 7 让 GPT 学习：预训练

第 67 章 更聪明的下坡

Q. 只看坡度往下走的球，为什么会迷路？

1. 在第 21 章，球只看脚下的坡度往下走。可真正的损失地形，是这样坑坑洼洼的。
2. 只跟着坡度走的球，掉进小水坑就停住了。因为坑底的坡度是 0，再也没有路可走。
3. 所以给它加上惯性。记住滚过来的那股劲，靠它冲过小山坡，一直滚到更深的山谷。
4. 第二个问题是步子。每个旋钮的坡度都不一样：陡的那边来回乱跳，缓的那边像乌龟一样慢。
5. 所以给每个旋钮单独调步子。晃得厉害的旋钮一点点挪，几乎不动的旋钮就大步走。
6. 把惯性和自动调步子合在一起的方法，叫作 Adam。它在 2014 年提出，训练 GPT 时用的也是 Adam。
7. 实际的计算还要复杂一些，但核心就是这两点。第 66 章循环里的 ④ 更新，变得更聪明了。

本章小结

• 只跟着坡度走，会困在小水坑里，或者在陡的方向上之字形乱跳。
• 惯性：记住滚过来的那股劲，冲过小山坡。
• Adam = 惯性 + 每个旋钮自动调步子。训练 GPT 也用它。