AI解剖课堂 · Part 11 毕业项目

第 94 章 在浏览器里训练

Q. 模型到底是怎么学会的？在我的手机里亲眼看一看。

1. 终于要训练了。一开始，迷你 GPT 的 30,106 个旋钮是随便定的，所以它只会乱写一通。
2. 训练一步是这样的：从数据里取 8 段、每段 24 个词元，让它在每个位置猜下一个词元（第 64 章）。
3. 猜错多少，就有多少损失（第 65 章）。一开始损失约 6.2，和从 506 种里随便猜一个的惊讶一样大。
4. 用反向传播算出每个旋钮的责任（第 23 章），再朝损失变小的方向轻轻转一下。这就是训练的一步。
5. 这一圈转上 1,500 次，损失一路往下降：第 475 步降到 2 以下，第 900 步降到 1 以下。
6. 这期间模型写的句子也在变：第 100 步是乱码，第 500 步能看出词，第 1,500 步已经像谚语了。
7. 不过训练太久，它会把数据整个背下来。第 1,500 步的模型写的 80 句里，有 62 句是背的（第 25 章）。
8. 现在去“动手试试”里按下训练按钮吧。不用服务器，真正的计算就在手机里进行。

本章小结

• 一步 = 用 8 段数据猜下一个词元 → 损失 → 反向传播 → 转动旋钮。
• 损失从约 6.2（随便猜）开始，1,500 步后降到约 0.8。
• 训练太久就会开始死记硬背。要分清新句子和背下来的句子。