AI解剖课堂 · Part 7 让 GPT 学习：预训练

第 68 章 为什么是 GPU？

Q. AI 公司为什么不买普通电脑，而是大量购买“显卡”？

1. GPT 的计算大部分是矩阵乘法（第 11 章）。GPT-3 光是一层，就有好几个 12,288 × 12,288 的矩阵。
2. 先拿两个小小的 4 × 4 矩阵来乘一乘。结果有 16 格，每一格都是一行和一列相乘再相加（第 9 章）。
3. 把 CPU 想成一台非常快的计算器。它一格一格按顺序填，16 格就要排 16 次队。
4. 可是这些格子根本不用互相等。每一格只要有自己的那一行和那一列，马上就能算。
5. GPU 是几千台简单的计算器。就像 1 万名学生每人负责一格，所有格子一起填好。
6. 示意：计算器每秒填 20 格，学生每秒填 1 格。1 万格的话，计算器要 500 秒，1 万名学生只要 1 秒！
7. 所以大 AI 要连起几千块 GPU 来训练。Transformer 一次算完所有词，和 GPU 天生一对（第 41 章）。

本章小结

• 矩阵乘法结果里的每一格，都是“一行 · 一列”的计算，彼此不用等。
• CPU = 几台快速计算器按顺序算，GPU = 几千台简单计算器同时算。
• 格子越多，GPU 越占优势。所以 AI 训练要用 GPU。