AI解剖教室 · Part 5 アテンション完全攻略

第46章 Query・Key・Value

Q. 文の中の語は、だれを見るかをどうやって決めるのでしょう？

1. 第45章で「かみ」は、関係の深い語をたくさん見つめました。その「関係」の測り方は、図書館で本を探すのに似ています。
2. 図書館に行くと、まず探したいものがありますね。「学校の話、ある？」この質問カードがQueryです。
3. 本の背にはラベルがはってあります。質問とラベルを合わせて、よく合う本をえらびます。このラベルがKeyです。
4. えらんだ本を開くと中身があります。実際に持ってくる情報、これがValueです。ラベルでえらんで、中身を持ってきます。
5. 文の中の語も同じです。どの語もカードを3枚ずつ持っています。たずねるQ、自分を知らせるK、渡すV。
6. 「行く」の質問は「だれが？ どこへ？」のようなもの。「学校に」のラベルとよく合うので、「学校に」の中身をたくさん持ってきます。
7. カードは、語のベクトルに行列をかけて作ります(第11章)。「行く」のベクトル(1, 1)に3つの行列をかけると、Q、K、Vが出ます。
8. 行列の中の数は学習で決まります。質問とラベルがどれだけ合うかは、次の章で第9章の内積を使って測ります。

この章のまとめ

• Queryは自分が探しているもの、Keyは自分を知らせるラベル、Valueは渡す中身。
• 質問とラベルを合わせてだれを見るかを決め、中身はその分だけ持ってくる。
• Q、K、V ＝ 語のベクトル × 行列(第11章)。行列の中の数は学習で決める。