AI解剖教室 · Part 2 機械はどうやって学ぶのか

第22章 歩幅を決める：学習率

Q. 山を下りるとき、一歩をどれくらいの大きさにすればよいのでしょう？

1. 第21章では、一歩の大きさは「学習率 × 傾き」でした。学習率（learning rate）は、どれだけ大またで歩くかを決める歩幅です。
2. 学習率が小さすぎると（0.01）、カメのようにのろのろ。5歩進んでも、まだ山の中腹です。
3. ちょうどよければ（0.1）、数歩で谷底に着きます。第21章で見たのと同じ歩き方です。
4. 大きすぎると（0.3）、谷底を通りこして反対側へはね返ります。はね返るたびに高く上がり、損失がかえって大きくなります。
5. 一歩ごとの損失をグラフにすると、ちがいがはっきり見えます。ゆっくり下がる、ストンと落ちる、はね上がる。
6. だから学習率は慎重に選びます。GPT-3も、最初は学習率を少しずつ上げ、学習しながらだんだん下げていきました。
7. 小さすぎるとカメ、大きすぎるとはね返る。ちょうどいい歩幅が大切です。もっと賢い歩き方は第67章で学びます。

この章のまとめ

• 学習率 = 一歩の歩幅。新しいつまみ = つまみ − 学習率 × 傾き。
• 小さすぎるとカメのように遅く、大きすぎると谷底を通りこしてはね返る。
• ちょうどいい学習率なら、すぐ谷底に着く。学習中に下げていくこともある。