AI解剖课堂 · Part 2 机器是怎样学习的

第 25 章 只背真题的学生

Q. 练习题全对，一考试就错的 AI，问题出在哪？

1. 只会死背真题的学生，真题能考满分，没见过的题却一塌糊涂。AI 身上也会发生同样的事。
2. 用 8 家店的排队和评分来练习，这就是训练数据。简单的直线会从这些点中间恰当地穿过。
3. 让一个非常复杂的模型训练很久，它就会变成一条穿过全部 8 个点的弯弯曲曲的线。训练损失是 0。
4. 可是放进 7 家没见过的店（验证数据），它就给出离谱的答案。它只是背了下来，这就是过拟合（overfitting）。
5. 训练时把两个损失一起画出来：训练损失一直在降，验证损失却从某一刻开始又往上升。
6. 在验证损失最低时停下，或者收集更多数据。没见过的题也能做好的能力，叫作泛化（generalization）。
7. GPT 训练时也会用单独留出的文字盯着验证损失，确认它是真的学会了，而不是背下来。

本章小结

• 过拟合：把训练数据背下来，训练损失很低，遇到没见过的数据却会错。
• 用验证数据（训练时没用过的题）来检查。验证损失又上升，就是危险信号。
• 办法：在验证损失最低时停下，收集更多数据。目标是泛化。