AI解剖教室 · Part 5 アテンション完全攻略

第52章 たくさんの目で見る

Q. 「行く」は、だれが行くのかも、どこへ行くのかも知りたい。1回見つめるだけで足りるでしょうか？

1. 1つの文の中にも、関係はいろいろあります。だれがするのか、いつなのか、どこへ行くのか。
2. でも、アテンション1回では、割合を1通りにしか決められません。そこでQ、K、Vのセットをいくつも作ります。1セットをヘッド(head)といいます。
3. たとえばヘッド1は「だれが」を、ヘッド2は「いつ」を、ヘッド3は「どこへ」を探します。同じ「行く」なのに、見る場所がちがいます。
4. ヘッドどうしは待ち合わせず、同時に、別々に計算します。それぞれが「行く」の新しいベクトルを1つずつ出します。
5. 結果を横につなげ、行列をもう1回かけて1つにまぜます。たくさんの目で見た情報が、1つのベクトルに集まります。
6. GPT-3は層ごとにヘッドが96個、ヘッド1つは128欄です。96 × 128 = 12,288、語のベクトルの大きさとぴったり合います。
7. どのヘッドが何を見るかは、人が決めるのではありません。学習しながら自然に分かれます。第53章で本物のヘッドをのぞきます。

この章のまとめ

• Q、K、Vの1セット ＝ ヘッド1つ。ヘッドごとに見る関係がちがう。
• ヘッドどうしは同時に計算し、結果をつなげて、行列でもう1回まぜる。
• GPT-3：層ごとにヘッド96個 × 128欄 ＝ 12,288。役割は学習で自然に分かれる。