AI解剖教室 · Part 6 トランスフォーマーを組み立てる
第61章 最初から最後までたどる
Q. ChatGPTが単語を1つ書くあいだ、中ではいったい何が起きているのでしょう？
- ここまで組み立てたGPTに「私は 今日 学校に」を入れて、最初から最後までたどってみましょう。
- まずトークナイザーが文章をかけら（トークン）に切ります。かけらごとに単語帳の番号がつきます（第29章）。
- 埋め込みが、番号ごとに意味のこもった数の列を取り出します。GPT-3では、かけら1つが数12,288個です（第33章）。
- ここに、何番目のかけらかを教える位置情報を足します（第36章）。これでベクトル3本がブロックに入ります。
- ブロックの中。正規化で大きさをそろえてアテンション！「学校に」は前の「私は」「今日」と自分自身を見ます（第45章）。
- 見た分だけ混ぜてきた結果を、高速道路の上の元のベクトルに足します（第56章）。数が少し変わりましたね。
- もう一度正規化して、フィードフォワードが単語ごとに考えを足します。その結果も元のベクトルに足します（第55章）。
- これがブロック1層です。同じことを96層くり返すと、ベクトルごとに文脈が積み重なります（第58章）。
- 96層を出た「学校に」のベクトルで、トークン50,257個に点数をつけます。行く3.0、行った2.1、遅れた1.5（第60章）。
- ソフトマックスで確率に変えると、行く52%、行った21%、遅れた12%。全部足すと100%です（第14章）。
- 確率どおりに1つ選びます。「行く」！ 文の最後につなげると「私は 今日 学校に 行く」になります（第1章）。
- そしてこの文をもう一度いちばん上に入れて、次のかけらを作ります（第2章）。ChatGPTの答えは全部この旅から生まれます。
この章のまとめ
- トークナイザー → 埋め込み + 位置情報 → [正規化・アテンション・足し算・正規化・フィードフォワード・足し算] × 96 → 出力 + ソフトマックス → 選んでつなげる。
- 単語ベクトルは層を通るたびに文脈が足され、最後の単語のベクトルが次の言葉を決める。
- 次のかけら1つ = この旅1回。つなげた文で、また最初から。