AI解剖教室 · Part 5 アテンション完全攻略

第53章 本物のGPTの頭の中をのぞく

Q. 本物のGPTのヘッドは、本当に何かを「見つめて」いるのでしょうか？

1. いよいよ本物のGPTを開けてみましょう。GPT-2のいちばん小さいモデルです。層が12、層ごとにヘッドが12、全部で144個です。
2. 英語の文を1つ入れて、1つのヘッドが見つめる割合を地図にかきます。行は見つめる語、列は見つめられる語です。
3. 4層の11番ヘッドです。どの語も、すぐ前の語だけをほぼ100%見ています。だから対角線のすぐ下のマスだけがこいのです。
4. 7層の2番ヘッドでは、ほとんどの語が最初の語「The」を見ます。この文では、144個のヘッドのうち98個が、半分以上最初の語を見ていました。
5. 同じ文を2回入れました。5層の1番ヘッドで、2回目の「my」は、1回目の「my」のあとに来た「dog」を51%見ます。
6. 4層の3番ヘッドでは、「it」が「cat」を84%見つめます。第45章のように、指しているものを探しているように見えます。
7. Part 5で、アテンションを完全に分解しました。Q・Kスコア、√dとソフトマックス、Vをまぜる、行列の計算、目かくし、たくさんのヘッドまで。
8. これで設計図のアテンション部品がすることを、全部知りました。Part 6では部品を積み上げて、トランスフォーマーブロックを組み立てます(第54章)。

この章のまとめ

• 本物のGPT-2(いちばん小さいモデル)：12層 × ヘッド12個 ＝ ヘッド144個。
• すぐ前の語だけを見るヘッド、最初の語に集まるヘッド、前の流れをまねするヘッドが、実際にある。
• Part 5 完成：スコア(Q・K) → ÷ √d → ソフトマックス → Vをまぜる。目かくしをして、たくさんのヘッドで計算する。