AI解剖课堂 · Part 10 ChatGPT 之后的世界

第 90 章 我手机里的 AI

Q. 那么庞大的 AI，怎么能不联网就在我的手机里运行？

1. GPT-3 有 1750 亿个参数，也就是“旋钮”（第 12 章）。每个用 32 位（4 字节）来存，一共多大？
2. 1750 亿 × 4 字节 = 7000 亿字节，大约 700GB。现在手机内存一般是 8～12GB，差得远呢。
3. 第一种方法是做小模型：让小小的学生模型学着模仿大大的老师模型的回答。这叫蒸馏。
4. 它模仿的不只是一个正确答案，而是老师的整组概率柱子。连“图书馆也挺像样”这一点也学到了。
5. 第二种方法是把数记得粗一点。8 位就像有 256 个刻度的尺子，4 位只有 16 个刻度。这叫量化。
6. 用 8 位的尺子量 0.82，得到 0.824；用 4 位的尺子量，得到 0.88。有点偏差，但模型大体上照样能用。
7. 拿 30 亿参数的模型算一算：32 位是 12GB，8 位是 3GB，4 位是 1.5GB。这下装得进手机了！
8. 在手机里运行，不联网也能用，我写的内容也不会离开手机。不过小模型遇到难题可能会吃力。

本章小结

• 模型大小 = 参数个数 × 每个数的字节数。GPT-3 用 32 位存，大约 700GB。
• 蒸馏：小的学生模型模仿大的老师模型的概率柱子来学习。
• 量化：不用 32 位，改用 8 位、4 位粗略地记。小模型 + 量化 = 手机里的 AI。