AI解剖教室 · Part 5 アテンション完全攻略

第44章 Attention Is All You Need

Q. ChatGPTの骨組みになった論文は、なぜ「アテンションさえあればいい」と言ったのでしょう？

1. 2017年、Googleでいっしょに研究していた8人が論文を出しました。タイトルは「Attention Is All You Need」、アテンションさえあればいい。
2. 著者8人の名前です。論文の注には「著者の順番はランダム」と書かれています。全員が同じだけ貢献した、という意味です。
3. そのころ、翻訳機の主役はRNNでした(第40章)。語を1つずつ順番に読むので、前のマスが終わらないと次のマスを計算できません。
4. 第43章のアテンションは、RNNを助ける手伝い役でした。この論文は逆に問いました。RNNをなくして、アテンションだけを残したら？
5. そうすれば、前のマスを待つ必要がありません。すべての語が同時に見つめ合うので、GPUがまとめて計算できます(第41章)。
6. こうして作ったモデルがトランスフォーマーです。翻訳のテストでそれまでの最高点をこえ、学習時間もずっと短くなりました。
7. GPTも、このトランスフォーマーで作られました。GPTのTはTransformerのTです。2018年のGPT-1から、ChatGPTまで。
8. このPartでは、論文の心臓であるアテンションを1つずつ分解します。まずは第45章、語どうしが見つめ合うところからです。

この章のまとめ

• 2017年「Attention Is All You Need」：Googleで研究していた8人の論文。
• RNNをなくしてアテンションだけを残したら、すべての語を同時に計算できるようになった。
• このしくみがトランスフォーマー。GPTのTはTransformer。