AI解剖教室 · Part 10 ChatGPT以後の世界

第90章 スマホの中のAI

Q. 巨大なAIが、どうやってインターネットなしでスマホの中で動くのでしょう？

1. GPT-3のつまみ（パラメータ）は1,750億個です（第12章）。1つを32ビット、つまり4バイトで保存すると、全部でどれくらいでしょう？
2. 1,750億 × 4バイト = 7,000億バイト、約700GBです。いまのスマホのメモリは8〜12GBくらいなので、とても入りません。
3. 1つめの方法は、小さなモデルを作ること。大きな先生モデルの答えを、小さな生徒モデルにまねさせて教えます。これを蒸留といいます。
4. 正解1つだけでなく、先生の確率の棒全体をまねします。「行った」もけっこうありそうだ、ということまで学ぶのです。
5. 2つめは、数字をざっくり書くこと。8ビットは目盛り256個、4ビットは目盛り16個のものさしで測るようなものです。これが量子化です。
6. 0.82を8ビットのものさしで測ると0.824、4ビットでは0.88になります。少しずれますが、モデルはだいたい同じように動きます。
7. 30億個のモデルで計算してみましょう。32ビットなら12GB、8ビットなら3GB、4ビットなら1.5GB。これでスマホに入ります！
8. スマホの中で動けば、ネットなしでも使えて、自分の文章も外に出ません。そのかわり小さなモデルなので、難しい質問は苦手かもしれません。

この章のまとめ

• モデルの大きさ = パラメータの数 × 数字1つのバイト数。GPT-3を32ビットで入れると約700GB。
• 蒸留：小さな生徒モデルが、大きな先生モデルの確率の棒をまねして学ぶ。
• 量子化：32ビットのかわりに8ビット・4ビットでざっくり書く。小さなモデル + 量子化 = スマホの中のAI。