AI解剖教室 · Part 2 機械はどうやって学ぶのか
第21章 勾配降下法
Q. 損失を減らすには、つまみをどちらへ、どれだけ回せばよいのでしょう？
- A店だけを見て、第16章のニューロンの「待ち」の重みwだけを回してみます。いまwは1、損失は1です。
- wをいろいろな値に変えて損失を点で打つと、谷の形が現れます。いちばん低い谷底を見つけたいのです。
- でも実際にはこの図は見えません。つまみが数えきれないほどあるからです。霧のかかった山で、足もとしか見えないようなものです。
- 足もとの傾きならわかります。wをほんの0.01上げてみると、損失は1から0.96へ、約0.04減ります。
- 傾きとは、少し変えたときに損失がどれだけ変わるか。−0.04 ÷ 0.01 = 約 −4。マイナスなので、wを上げると損失が下がります。
- だから傾きと反対の向きに一歩！新しいw = 1 − 0.1 × (−4) = 1.4。0.1は歩幅です（第22章の学習率）。
- これをくり返すと、ボールが谷底へ転がっていきます。wは1.5、予想は4.5点、損失は0。これが勾配降下法です。
- つまみが2つなら、おわんの形になります。1,750億個なら想像もできない山ですが、つまみごとに傾きを求めるのは同じです。
この章のまとめ
- 傾き = つまみを少し変えたとき、損失がどれだけ変わるか。
- 傾きと反対の向きに少しずつ：新しいつまみ = つまみ − 学習率 × 傾き。
- くり返すと、損失の谷の底へ下りていく。これが勾配降下法。