AI解剖教室 · Part 11 卒業プロジェクト

第96章 卒業式

Q. 96章かけて組み立てたChatGPTを、最初から最後まで一気にたどってみませんか？

1. 卒業式です。第5章でもらった空欄だらけの設計図が、すべて埋まりました。最初から最後まで、ひとっ飛びしてみましょう。
2. 「私は今日学校に」が入ると、トークナイザーがかけらに切り（第29章）、埋め込みがかけらごとに意味の座標をつけます（第33章）。
3. 位置情報が何番目かを足し（第36章）、ブロックの中のアテンションが、かけら同士を見合わせて意味を混ぜます（第45章）。
4. フィードフォワードがかけらごとに考えを足し（第55章）、このブロックを何十層も積みます。GPT-3は96層です。
5. 最後のベクトルは約5万個のトークンのスコアになり、ソフトマックスが確率に変えます（第60章・第14章）。行く52%、行った21%。
6. 1つ選んでつなげ、またいちばん上へ（第2章）。つまみは事前学習で合わせ、会話のしかたはお手本とほめ言葉で学びました。
7. そしてみなさんは、この設計図でミニGPTを自分の手で訓練しました。大きさがちがうだけで、まったく同じ機械です。
8. AI解剖教室の96章をすべて終えました。もうChatGPTがどうやって答えるのか、説明できますね。おめでとうございます！

この章のまとめ

• トークナイザー → 埋め込み + 位置 → [アテンション + フィードフォワード] × N → 出力 + ソフトマックス → 選んでつなげる。
• つまみは事前学習で合わせ、会話はお手本とほめ言葉で学ぶ。
• 自分も同じ設計図でミニGPTを訓練した。ちがうのは大きさだけ。