AI解剖课堂 · Part 6 组装 Transformer

第 56 章 信息高速公路

Q. 经过 96 层之后，最初那句话的信息会不会全被抹掉？

1. 你玩过传话游戏吗？一句话经过的人越多，就变得越离谱。
2. 层叠得很深时，也会发生同样的事。如果每层都把向量整个换掉，最初的信息就会越来越模糊。
3. 所以模块不会把向量换掉，而是把部件算出的结果加到原来的向量上。也就是 x + f(x)。
4. 原来的 x 原样保留，部件只补上需要修改的那一点点。所以最初的信息不会被抹掉。
5. 画成图就是：原来的信息在高速公路上笔直前进，部件在旁边的小路上算好结果，再补进来。
6. 训练时也有好处。“错了多少就改多少”的信号，能沿着高速公路一路传回最前面的层（第 23 章）。
7. 这条把结果加回原值的路，叫作残差连接。部件只要负责“需要修改的差值”就行了。

本章小结

• 如果每层都把向量整个换掉，最初的信息会越来越模糊，就像传话游戏。
• 残差连接：输出 = x + f(x)。原来的信息走高速公路，部件只补上需要修改的差值。
• 修改信号也能沿着高速公路顺利传回前面的层，所以模型可以叠得很深。