AI解剖教室 · Part 7 GPTに勉強させる：事前学習

第69章 GPT-1 → 2 → 3

Q. GPT-1からGPT-3まで、2年でどれだけ大きくなったのでしょう？

1. GPTは一度に生まれたのではありません。2018年にGPT-1、2019年にGPT-2、2020年にGPT-3と、毎年大きくなりました。
2. パラメータ（第12章のつまみ）1億個を、建物の1階分としましょう。GPT-1は1.17億個、たった1階建ての家です。
3. GPT-2は15億個。15階建てのマンションになりました。1年で約13倍です。
4. GPT-3は1,750億個です。何階建てでしょう？ 画面に入りきりません。うしろに下がってみましょう。
5. なんと1,750階！ GPT-2の約117倍、GPT-1の約1,500倍です。GPT-1は点ほどにも見えません。
6. 60階建てのあべのハルカスを約29個積み上げて、やっと届く高さです。とてつもないですね。
7. 体を大きくしたGPT-3は、例をいくつか見るだけで新しい問題を解きました（第71章）。なぜ大きいほど賢いのか、次の章で見ます。

この章のまとめ

• GPT-1（2018）1.17億 → GPT-2（2019）15億 → GPT-3（2020）1,750億個。
• 1億個 = 1階なら、1階建ての家 → 15階建てのマンション → 1,750階の塔。
• 2年で約1,500倍。大きくすると新しい能力が現れた（第71章）。