AI解剖教室 · Part 11 卒業プロジェクト

第94章 ブラウザで訓練する

Q. モデルは本当はどうやって学ぶのでしょう？自分のスマホの中で、じかに見てみましょう。

1. いよいよ訓練です。はじめのミニGPTのつまみ24,793個はでたらめに決まっているので、文字をめちゃくちゃに並べます。
2. 訓練の1歩はこうです。データから24トークンのかたまりを8つ取り出し、位置ごとに次のトークンを当てさせます（第64章）。
3. まちがえた分だけ損失が出ます（第65章）。はじめの損失は約5.85。345種類からでたらめに選ぶときの驚きと同じです。
4. 誤差逆伝播法でつまみごとの責任を計算し（第23章）、損失が減る向きに少し回します。これが訓練の1歩です。
5. この1周を1,500回くり返すと、損失はぐんぐん下がります。275歩で2を、500歩で1を下回りました。
6. そのあいだにモデルが書く文も変わります。100歩ではでたらめ、500歩では言葉が見え、1,500歩ではことわざらしくなります。
7. ただし長く訓練すると、データを丸ごと覚えます。1,500歩のモデルが書いた80行のうち65行は、覚えた文でした（第25章）。
8. では「やってみよう」で訓練ボタンを押してみましょう。サーバーなしで、スマホの中で本物の計算が動きます。

この章のまとめ

• 1歩 = 8つのかたまりで次のトークン当て → 損失 → 誤差逆伝播 → つまみを回す。
• 損失は5.85（でたらめに選ぶ）から、1,500歩で0.73まで下がる。
• 長く訓練すると覚えはじめる。新しい文と覚えた文を見分けよう。