AI解剖教室 · Part 2 機械はどうやって学ぶのか
第27章 Part 2 ボス戦
Q. ここまで学んだことを全部集めれば、ニューラルネットワークを一から学習させられるでしょうか？
- Part 2のボス戦です！第17章の当たりマップを60軒に増やしました。今回は境界を手で決めず、ネットワークが自分で見つけます。
- 入力2つ → ReLUニューロン8個 → 出力1つ（第18章）。つまみ33個は、最初はでたらめに決めます。0.5を超えたら当たりです。
- 学習ループを回します。順伝播（第19章）、損失をはかる（第20章）、誤差逆伝播で責任を分ける（第23章）、勾配降下で直す（第21章）。
- 10軒ずつのミニバッチで300エポック（第24章）。損失が下がるにつれて境界がV字になり、正解率は23%から100%になります。
- 別にとっておいた、初めて見る30軒で検証します（第25章）。30軒すべて正解。暗記ではなく、V字のルールを学んだのです。
- GPTも同じように学びます。ただし、つまみ33個ではなく1,750億個、60軒ではなくトークン3,000億個で。
- Part 2の学習の道具が完成！次のPart 3では、ネットワークに文章を入れるために、文字を数字に変える方法を学びます。
この章のまとめ
- 学習ループ：順伝播 → 損失 → 誤差逆伝播 → 勾配降下で直す、をミニバッチでエポックごとにくり返す。
- ニューロンの数、学習率、エポック数は人が決める。つまみ（重み、バイアス）は学習が見つける。
- 検証データで確かめてこそ本当の実力。GPTも同じ方法で、ずっと大きく学ぶ。