AI解剖教室 · Part 6 トランスフォーマーを組み立てる

第55章 考える層

Q. アテンションで単語どうしが情報を分け合いました。そのあと、それぞれの単語は何をするのでしょう？

1. アテンションで単語どうしが意味を混ぜました。次はブロックの2つめの部品、フィードフォワードです。
2. フィードフォワードは、単語ごとに別々に通る小さなニューラルネットです（第18章）。全単語が同じ機械を使います。
3. 中では4個の数が16個へと4倍に広がり、また4個に戻ります。広い層ではGELUで曲げます（第17章）。
4. 広い層のニューロンは、それぞれ決まったパターンに反応します。このニューロンは「場所 + に」で光るとしましょう。
5. 光ったニューロンたちの結果を、元のベクトルに足します。こうして単語ごとに知識が加わります。
6. GPT-3では、12,288個の数が49,152個に広がって、また12,288個に戻ります。同じく4倍です。
7. GPT-3の数1,750億個のうち、約3分の2がフィードフォワードにあります。学んだ知識の倉庫というわけです。
8. アテンションは単語どうしの会話、フィードフォワードは単語ひとりの考え。設計図にフィードフォワードが入りました！

この章のまとめ

• フィードフォワード：単語ごとに別々に通る小さなニューラルネット。全単語が同じ機械を使う。
• 4倍に広げて（GELUで曲げて）また縮める。GPT-3：12,288 → 49,152 → 12,288。
• 結果を元のベクトルに足して知識を加える。モデルの数の約3分の2がここにある。