AI解剖课堂 · Part 6 组装 Transformer

第 57 章 稳住波动

Q. 结果一直往上加，到了第 96 层，数字会不会变得特别大？

1. 第 56 章说过，结果会一直加上去。一层层加下来，向量里的数字就越来越大。
2. 同样是“去”，每一层的大小却差这么多，部件每次都得换一把尺子来算。计算就不稳了。
3. 所以在送进部件之前，先做第 15 章的归一化。用一个词向量自己的数字，求出平均值和分散程度。
4. 减去平均值 10，再除以分散程度 5，就得到这些数。变大 4 倍的向量，结果也一模一样。
5. 这个计算每个词各做各的。每个词只用自己的 12,288 个数字，求平均值和分散程度。
6. 最后，每个数字再乘一个倍率、加一个值。这两个值靠训练决定，由模型自己挑出合适的大小。
7. GPT 在每次进入注意力和前馈网络之前都做归一化。高速公路上原来的值则保持不动。

本章小结

• 一层层加上结果，向量里的数字会变大，而且忽大忽小。
• 层归一化：每个词用自己的数字，减去平均值，再除以分散程度（第 15 章）。然后乘倍率、加偏移。
• GPT 在每次进入注意力和前馈网络之前，都要做一次归一化。