AI解剖课堂 · Part 2 机器是怎样学习的

第 24 章 把练习册分开做

Q. 一本有几百万道题的练习册，是做一道改一次，还是全做完再一起改？

1. 照着 A 店把排队旋钮调到 1.5，A 店刚好对了，可 B 店错得更多，五家店的总损失从 0.7 变成了 1.95。
2. 所以要看整本练习册来调。可是题目有几百万道，全做完才改一次，实在太慢了。
3. 所以把几道题打成一包：做一包、打分、调旋钮，再做下一包。这样的一包叫小批量（minibatch）。
4. 把练习册从头到尾做完一遍，叫作 1 轮（epoch）。通常要重复很多轮。
5. 做 180 道题的过程中比一比：一题一改下降快，但忽上忽下；全做完再改只改了 3 次；10 题一包最平稳。
6. 电脑会把一包题一起算，所以很快（第 68 章）。GPT-⁠3 的一包里装了约 320 万个词元。
7. 分成小批量来做，再重复很多轮。可同一本练习册做太多遍，会出问题（第 25 章）。

本章小结

• 只看一道题就改，别的题会跑偏，要看整本练习册。
• 小批量：几道题一包，做完、打分、调整。轮（epoch）：把练习册做完一遍。
• 一题一改摇摇晃晃，全做完再改太慢，大小适中的包又快又稳。