AI解剖课堂 · Part 2 机器是怎样学习的

第 21 章 梯度下降

Q. 想让损失变小，旋钮该往哪边转、转多少？

1. 只看 A 店，也只转第 16 章神经元的排队旋钮 w。现在 w 是 1，损失是 1。
2. 把 w 换成各种值，把损失画出来，就是一个山谷的形状。我们想找到最低的谷底。
3. 可实际上看不到这张图，因为旋钮多得数不清。就像在大雾笼罩的山上，只看得见脚下。
4. 脚下的坡度是能知道的。把 w 稍微调高 0.01，损失从 1 变成 0.96，大约少了 0.04。
5. 斜率就是“稍微改一点，损失变多少”：−0.04 ÷ 0.01 ≈ −4。它是负数，所以调高 w，损失就会下降。
6. 所以朝斜率的反方向走一步！新 w = 1 − 0.1 × (−4) = 1.4。0.1 是步子的大小（第 22 章 学习率）。
7. 反复这样走，球就会滚到谷底：w 是 1.5，预测 4.5 分，损失 0。这就是梯度下降（梯度就是这里的斜率）。
8. 有两个旋钮，就是碗的形状。有 1750 亿个，就是想象不出的大山，但给每个旋钮求斜率的方法是一样的。

本章小结

• 斜率 = 把旋钮稍微改一点，损失会变多少。
• 朝斜率的反方向一点点走：新旋钮 = 旋钮 − 学习率 × 斜率。
• 反复走，就能下到损失山谷的谷底。这就是梯度下降。