AI解剖教室 · Part 6 トランスフォーマーを組み立てる

第54章 トランスフォーマーブロックの設計図

Q. 第5章の設計図のまん中にある「トランスフォーマーブロック」。開けてみると、中には何が入っているのでしょう？

1. 第5章の設計図のまん中、トランスフォーマーブロックを拡大してみましょう。GPTはこのブロックを何層も積んだ機械です。
2. ブロックには単語の数だけベクトルが入ります。そして、同じ数・同じ大きさのベクトルが出てきます。
3. 最初の部品はアテンション。単語どうしが見合って、意味を混ぜます。第45章で学びましたね。
4. 2つめはフィードフォワード。単語ごとに別々に「考え」を足します。次の章でくわしく開けます。
5. 部品が出した結果は、元のベクトルに足します。元の情報がまっすぐ走るこの道を高速道路と呼びます。
6. 部品に入る直前には、正規化で数の大きさをそろえます。第15章で学んだあの方法です。
7. まとめると、正規化 → アテンション → 足し算、正規化 → フィードフォワード → 足し算。これがブロック1層です。
8. 入ったときと同じ形で出てくるので、ブロックはいくらでも積めます。GPT-3はこのブロックが96層です。

この章のまとめ

• ブロック1層 = 正規化 → アテンション → 足し算、正規化 → フィードフォワード → 足し算。
• アテンションは単語どうしを混ぜる、フィードフォワードは単語ごとに考える。結果は元のベクトルに足す。
• 入ったときと同じ形で出てくるので、いくらでも積める。GPT-3は96層。