AI解剖课堂 · Part 2 机器是怎样学习的

第 19 章 前向传播

Q. 把数字放进神经网络，里面会发生什么？

1. 把 A 店放进一个像第 18 章那样有层的小神经网络：3 个输入，一层 2 个神经元，再加一个输出评分的神经元。
2. 输入的数字沿着线流动，和权重相乘。“人气”神经元算出 1.5 + 2 − 2，再加上偏置 −0.5，得到 1。
3. “太辣”神经元是辣度超过 4 级就会亮的警报。3 − 4 = −1，所以被 ReLU 关掉，输出 0。
4. 这一层的输出 1 和 0 流向下一层：1 × 1.5 + 0 × (−1) + 2 = 3.5。预测评分是 3.5 分。
5. 像这样从输入往输出，朝一个方向依次计算下去，就叫前向传播（forward pass）。
6. 把辣度调到 5 级，警报神经元就亮了，扣掉 1 分。同一个神经网络，输入不同，干活的神经元也不同。
7. GPT 也靠前向传播给出答案：文字依次穿过 96 层，最后得出下一个词的概率。可是 3.5 分，猜对了吗？

本章小结

• 前向传播：输入 → 层 → 输出，朝一个方向依次计算。
• 每个神经元算 (输入 × 权重) 之和 + 偏置，再用 ReLU 折一下。
• GPT 也靠前向传播给出答案：穿过 96 层，得出下一个词的概率。