AI解剖课堂 · Part 6 组装 Transformer

第 59 章 编码器 vs 解码器

Q. ChatGPT 里的“GPT”和谷歌的“BERT”都是 Transformer，它们有什么不同？

1. 2017 年最早的 Transformer 是个翻译器，由读原文的编码器和写译文的解码器组成（第 44 章）。
2. 2018 年，出现了只用其中一半的模型：只叠编码器的 BERT，和只叠解码器的 GPT。
3. BERT 从两边看整个句子。它把中间的词遮住，再靠前后的词来练习填空。
4. GPT 只看前面的词。它用第 51 章的帘子挡住未来，练习猜下一个词。
5. 用注意力表格来看：BERT 所有的格子都打开，GPT 只打开对角线和它下面的三角形。
6. 所以 BERT 擅长理解句子，GPT 擅长一个词一个词地往下写。
7. ChatGPT 就是只叠解码器模块的 GPT。我们从第 54 章开始组装的，正是这种解码器模块。

本章小结

• 最早的 Transformer（2017）是编码器 + 解码器组成的翻译器。
• BERT = 只叠编码器：两边都看，练习填空。擅长理解句子。
• GPT = 只叠解码器：只看前面（帘子），练习猜下一个词。擅长接着往下写。ChatGPT 也属于这一边。