AI解剖课堂 · Part 6 组装 Transformer

第 55 章 会思考的层

Q. 通过注意力，词与词分享了信息。接下来，每个词要做什么？

1. 通过注意力，词与词已经混合了彼此的意思。现在轮到模块的第二个部件：前馈网络。
2. 前馈网络是每个词单独通过的一个小神经网络（第 18 章）。所有的词都用同一台机器。
3. 在里面，4 个数字先变宽 4 倍成 16 个，再缩回 4 个。宽的那层用 GELU 拐个弯（第 17 章）。
4. 宽层里的每个神经元，各自对某种模式有反应。假设这个神经元一看到“去”这类动作就会亮。
5. 亮起来的神经元给出的结果，加回原来的向量。就这样，每个词都添上了知识。
6. 在 GPT-3 里，12,288 个数字先变宽成 49,152 个，再回到 12,288 个。同样是 4 倍。
7. GPT-3 的 1750 亿个数字里，约三分之二在前馈网络。可以说它是存放知识的仓库。
8. 注意力是词与词对话，前馈网络是每个词自己思考。设计图上的前馈网络填好了！

本章小结

• 前馈网络：每个词单独通过的小神经网络。所有的词都用同一台机器。
• 先变宽 4 倍（用 GELU 拐弯），再缩回来。GPT-3：12,288 → 49,152 → 12,288。
• 结果加回原来的向量，给词添上知识。模型约三分之二的数字都在这里。