AI解剖教室 · Part 6 トランスフォーマーを組み立てる

第59章 エンコーダー vs デコーダー

Q. ChatGPTの「GPT」とGoogleの「BERT」。どちらもトランスフォーマーなのに、何がちがうのでしょう？

1. 2017年に生まれたトランスフォーマーは翻訳機でした。原文を読むエンコーダーと、訳文を書くデコーダーでできていました（第44章）。
2. 2018年には、片方だけを取り出したモデルが登場します。エンコーダーだけを積んだBERTと、デコーダーだけを積んだGPTです。
3. BERTは文全体を両側から見ます。途中の単語を隠して、前後の単語から空欄を当てる練習をします。
4. GPTは前の単語だけを見ます。第51章の目かくしで未来を隠したまま、次の単語を当てる練習をします。
5. アテンションの表で見ると、BERTは全部のマスが開いていて、GPTは対角線とその下の三角形だけが開いています。
6. だからBERTは文を理解する仕事に、GPTは文章を一語ずつ書き続ける仕事に強いのです。
7. ChatGPTは、デコーダーブロックだけを積んだGPTです。第54章から組み立ててきたブロックが、まさにこのデコーダーブロックです。

この章のまとめ

• もとのトランスフォーマー（2017）は、エンコーダー + デコーダーでできた翻訳機だった。
• BERT = エンコーダーだけを積む：両側を見て空欄を当てる。文の理解に強い。
• GPT = デコーダーだけを積む：前だけを見て（目かくし）次の単語を当てる。文章を書き続けるのに強い。ChatGPTもこちら。