AI解剖课堂 · Part 7 让 GPT 学习：预训练

第 65 章 惊讶有多大

Q. 模型给正确答案押了 52%，它算错了多少？能不能用一个数字来衡量错的程度？

1. 在“我 今天 去”后面，模型给“学校”打了 52%。正确答案正是“学校”。那模型错了多少呢？
2. 换成人来说，就是“惊讶”。料到的事发生了，不太惊讶；没料到的事发生了，就会吓一跳。
3. 我们把惊讶变成数字。确定的事（概率 1）发生了，惊讶是 0。概率每减半一次，惊讶就加 1。
4. 1/4 是 2，1/8 是 3。也就是数一数，2 要乘几次才得到 8。2 × 2 × 2 = 8，所以是 3。
5. 把点连起来看，概率越接近 0，惊讶就越往上猛涨。数学里把这种计算叫作对数，高中数学会学到。
6. “学校”52%，惊讶约 0.94；只给 12% 的话，约 3.06。押在正确答案上越多，越不惊讶。
7. 每道题惊讶的平均，叫交叉熵（cross-entropy）。这就是 GPT 的损失，训练就是把它变小。

本章小结

• 惊讶：给正确答案的概率越低，惊讶越大。概率是 1 时，惊讶是 0。
• 概率每减半一次，惊讶 +1（1/2 → 1，1/4 → 2，1/8 → 3）。这种计算就是对数。
• 每道题惊讶的平均 = 交叉熵 = GPT 的损失。训练就是把它变小。