AI解剖课堂 · Part 4 Transformer 之前的故事

第 41 章 RNN 的局限

Q. 既然传纸条接力这么好，为什么 ChatGPT 不用 RNN？

1. 这次是个长句子。“昨天 我 和朋友 一起 …… 最后”后面应该是“去了”，因为开头有“昨天”。
2. 纸条每传一格，“昨天”就淡一点。传过 11 格以后，字几乎看不见了。
3. 所以只看最后一张纸条的 RNN 选了“去”。它没抓住相隔很远的词之间的关系，也就是长期依赖。
4. 训练时也有问题。把误差的责任（第 23 章）往回传时，每一格也会变小，到 10 格之前只剩 0.11 倍。
5. 1997 年的 LSTM 给纸条加了保管箱和门，让重要的内容不那么快变淡。可是文章很长时，最后还是会模糊。
6. 第二个问题是排队。第 2 格要等第 1 格的纸条到了才能开始。其他 GPU 只能排队干等。
7. GPU 的特长是同时做很多计算（第 68 章）。可如果有 1,000 个词，就得按顺序算 1,000 次。
8. 总结一下：RNN 的纸条会变淡，还得排队等。Transformer 把两个问题都解决了（Part 5）。在那之前，先看第 42 章的翻译器。

本章小结

• 局限 ①：纸条每传一格就变淡，抓不住相隔很远的词之间的关系（长期依赖）。
• 1997 年的 LSTM 靠保管箱和门记得更久，但文章很长时还是会模糊。
• 局限 ②：前一格算完才能算下一格，GPU 只能排队等。