AI解剖教室 · Part 7 GPTに勉強させる：事前学習
第67章 かしこい下り坂
Q. 傾きだけを見て下るボールは、どうして道に迷うのでしょう？
- 第21章では、ボールは足もとの傾きだけを見て下りました。でも本物の損失の地形は、こんなにでこぼこです。
- 傾きだけに従うボールは、小さなくぼみに落ちると止まります。くぼみの底は傾きが0で、もう行き先がないからです。
- そこで勢い（慣性）をつけます。転がってきた勢いを覚えておき、その力で小さな丘を越えて、もっと深い谷まで行きます。
- 2つめの問題は歩幅です。つまみごとに傾きがちがうので、急な方向はあちこち跳ね、ゆるやかな方向はカメのように遅くなります。
- そこで、つまみごとに歩幅を別々に調整します。大きくゆれていたつまみは少しずつ、あまり動かなかったつまみは大またで。
- 慣性と歩幅の自動調整を合わせた方法がAdamです。2014年に生まれ、GPTを学習させるときもAdamを使います。
- 本物の計算はもう少し複雑ですが、かなめはこの2つです。第66章の輪の④ 更新が、かしこくなったのです。
この章のまとめ
- 傾きだけに従うと、小さなくぼみに閉じこめられたり、急な方向でジグザグに跳ねたりする。
- 慣性：転がってきた勢いを覚えて、小さな丘を越える。
- Adam = 慣性 + つまみごとの歩幅の自動調整。GPTの学習にも使う。