AI解剖教室 · Part 6 トランスフォーマーを組み立てる

第62章 Part 6 ボス戦：設計図の完成

Q. 部品は全部そろいました。正しい順番に組み立てて、GPTを完成させられるでしょうか？

1. Part 6でブロックの部品を1つずつ集めました。さあ、全部組み立てて設計図を完成させましょう。
2. まずはブロック1層から。正規化 → アテンション → 足し算、もう一度正規化 → フィードフォワード → 足し算。
3. このブロックを96層積みます。高速道路と正規化のおかげで、深く積んでもゆれません。
4. 前では、トークナイザー、埋め込み、位置情報が文章をベクトルに変えて入れてくれます（Part 3）。
5. 後ろでは、出力 + ソフトマックスが次の言葉の確率を出し、1つ選んで文の最後につなげます。
6. 設計図の機械の部分が全部埋まりました！ 文章を入れると次の言葉が出てくるGPTの完成です。
7. でも、部品の中の1,750億個の数はまだでたらめです。Part 7ではこの数に勉強させます。事前学習です。

この章のまとめ

• ブロック1層：正規化 → アテンション → 足し算 → 正規化 → フィードフォワード → 足し算。これを96層積む。
• 設計図：トークナイザー → 埋め込み → 位置情報 → ブロック × 96 → 出力 + ソフトマックス → 選んでつなげる。
• 機械は完成！ 次は1,750億個の数に勉強させる事前学習（Part 7）。