AI解剖课堂 · Part 6 组装 Transformer

第 58 章 把模块叠起来

Q. 一个模块就能运转，为什么要叠 96 个？

1. 模块进去什么形状，出来还是什么形状。所以可以像搭乐高一样，在下面一直接上新的模块。
2. GPT-1 有 12 层，GPT-2 有 48 层，GPT-3 有 96 层。都是把同一种模块设计反复叠起来。
3. 形状虽然一样，每一层里的数字却不同。所以每一层负责的工作也各不相同。
4. 浅层主要处理词的样子和紧挨着的词，中间层处理词在句子里的角色和关系。
5. 越深的层，越多处理整句话的意思和下一个该说什么。同一个“去”上，信息一层层累积起来。
6. 如果在每一层都偷看一下对下一个词的猜测，会发现越往深处，“学校”的概率越高。
7. GPT-3 的一层模块里约有 18 亿个数字。96 层加起来约 1740 亿个，几乎就是 1750 亿的全部。
8. 能叠得这么深，多亏了高速公路和归一化。下一章来看模块的两种用法。

本章小结

• 模块进去什么形状，出来还是什么形状，所以可以一直叠。GPT-1 12 层，GPT-2 48 层，GPT-3 96 层。
• 设计虽然一样，每层的数字却不同，所以浅层和深层负责的工作不一样。
• 越往深处，词向量里累积的上下文和下一个词的信息越多。GPT-3 几乎所有的数字都在模块里。