AI解剖课堂 · Part 2 机器是怎样学习的

第 22 章 决定步子大小：学习率

Q. 下山的时候，一步该迈多大？

1. 第 21 章里，一步的大小是“学习率 × 斜率”。学习率（learning rate）就是决定一步迈多大的步长。
2. 学习率太小（0.01），就像乌龟一样慢。走了五步，还在半山腰。
3. 大小刚好（0.1），几步就到谷底。就是第 21 章看到的那几步。
4. 太大（0.3）就会冲过谷底，弹到对面去。每弹一次都更高，损失反而变大了。
5. 把每一步的损失画成图，差别一目了然：慢慢下降、一下掉到底、一路飙升。
6. 所以学习率要谨慎地选。GPT-⁠3 训练时，也是先把学习率一点点调高，再在训练中慢慢调低。
7. 太小像乌龟，太大会弹飞，合适的步长很重要。更聪明的走法，第 67 章再学。

本章小结

• 学习率 = 一步的步长。新旋钮 = 旋钮 − 学习率 × 斜率。
• 太小就像乌龟一样慢，太大会冲过谷底弹飞。
• 选对学习率，才能很快到达谷底。训练中也常常把它逐渐调小。