AI解剖课堂 · Part 6 组装 Transformer

第 54 章 Transformer 模块设计图

Q. 第 5 章设计图正中间的“Transformer 模块”，打开来看，里面装着什么？

1. 我们把第 5 章设计图的正中间放大：Transformer 模块。GPT 就是把这种模块叠了很多层的机器。
2. 有几个词，就有几个向量进入模块。出来的向量个数一样，大小也一样。
3. 第一个部件是注意力。词与词互相看，把意思混合起来。第 45 章学过。
4. 第二个是前馈网络，给每个词单独加上“思考”。下一章再打开细看。
5. 部件算出的结果，要加回原来的向量。原信息笔直穿过的这条路，叫作高速公路。
6. 进入部件之前，先用归一化统一数字的大小。就是第 15 章学过的那个方法。
7. 总结一下：归一化 → 注意力 → 相加，归一化 → 前馈网络 → 相加。这就是模块的一层。
8. 进去什么形状，出来还是什么形状，所以模块可以一直往上叠。GPT-3 叠了 96 层。

本章小结

• 模块的一层 = 归一化 → 注意力 → 相加，归一化 → 前馈网络 → 相加。
• 注意力让词与词互相混合，前馈网络让每个词各自思考。结果都加回原来的向量。
• 进去什么形状，出来还是什么形状，所以可以一直叠。GPT-3 有 96 层。