AI解剖课堂 · Part 2 机器是怎样学习的

第 27 章 Part 2 Boss 战

Q. 把学过的东西全用上，能从零开始训练一个神经网络吗？

1. Part 2 Boss 战！第 17 章的火锅店地图扩大到了 60 家店。这次不用手画边界，让神经网络自己去找。
2. 2 个输入 → 8 个 ReLU 神经元 → 1 个输出（第 18 章）。33 个旋钮一开始随便设，超过 0.5 就算好吃。
3. 跑起训练循环：前向传播（第 19 章）、算损失（第 20 章）、反向传播分责任（第 23 章）、梯度下降来调整（第 21 章）。
4. 每 10 家一个小批量，跑 300 轮（第 24 章）。损失下降，边界慢慢变成 V 字，准确率从 23% 升到 100%。
5. 再用单独留出、没见过的 30 家店来验证（第 25 章），30 家全对。它不是背下来，而是学会了 V 字规律。
6. GPT-⁠3 也是这样学的，只是旋钮从 33 个变成 1750 亿个，数据从 60 家店变成 3000 亿个词元。
7. Part 2 的学习工具齐了！在 Part 3，我们要学怎么把文字变成数字，好把文字放进神经网络。

本章小结

• 训练循环：前向传播 → 损失 → 反向传播 → 梯度下降调整，按小批量一轮轮重复。
• 神经元个数、学习率、轮数由人来定；旋钮（权重、偏置）由训练来找。
• 用验证数据检查才是真实水平。GPT 也用同样的方法学，只是大得多。