AI解剖教室 · Part 11 卒業プロジェクト

第92章 ミニGPTを設計する

Q. ChatGPTをうんと小さくしたら、自分の手で作れるでしょうか？

1. いよいよ卒業プロジェクトです。これまで学んだ部品で本物の小さなGPTを作り、自分のスマホで訓練します。
2. 手順は4段階。データを選び、トークナイザーを作り、訓練して、最後に文章を書かせます。
3. 設計図はGPT-3と同じです（第5章）。ただしブロックは96層ではなく1層、トークンのベクトルは12,288マスではなく32マスです。
4. ヘッドも1つ、一度に読むのは24トークン。トークンの種類は345。ことわざに出てくる文字に、改行と空白を足した数です。
5. つまみ（パラメータ）を数えると、GPT-3は1,750億個、ミニGPTは24,793個。約700万分の1です。
6. それでも、やることは同じ。文章を読んで、次のかけらの確率を出します。前もって訓練したミニGPTの本当の答えです。
7. ことわざを読ませればことわざを、わらべうたなら歌詞を、教科書の文なら説明文を書きます。モデルは読んだ文章に似てきます。
8. データは約3KB、トークン約1,100個。GPT-3が読んだ3,000億トークンにくらべればちりのようですが、十分です。選んでみましょう！

この章のまとめ

• ミニGPTもGPT-3と同じ設計図。層、ベクトル、ヘッドの数だけが小さい。
• つまみは24,793個。GPT-3の約700万分の1。
• モデルは読んだ文章に似てくる。だからデータ選びが最初の一歩。