AI解剖教室 · Part 5 アテンション完全攻略

第47章関連度スコア

Q. 「行く」の質問と「学校に」のラベルがどれだけ合うかを、数1つで測れるでしょうか？

第46章で、語ごとにQとKのカードを作りました。今度は「行く」の質問が、各語のラベルとどれだけ合うか、点数をつけます。
方法は第9章の内積です。同じ欄どうしをかけて足します。「行く」のQ(1, 2)と「学校に」のK(1, 1)は、1×1 + 2×1 = 3。
矢印で見ると、同じ向きを指すほど点数が大きくなります。「今日」のKは向きがちがうので、1×1 + 2×(−1) = −1です。
残りも計算すると、「私は」は2、自分自身の「行く」は1。この4つの数が、「行く」がつけた関連度スコアです。
ほかの語もみんな質問を出します。4つの語が4つずつ合わせるので、16マスのスコア表がうまります。
行は問う語、列は答える語です。同じ行どうしでくらべて、だれを見るかを決めます。「私は」の行では「今日」が1位です。
でも、スコアにはマイナスもあるし、行ごとの合計もばらばらです。次の章で、このスコアを見つめる割合に変えます。

この章のまとめ

関連度スコア＝ Q・K (内積、第9章)。同じ欄どうしをかけて、全部足す。
同じ向きを指すほど大きく、反対向きならマイナスになる。
すべての語がおたがいにスコアをつけると、スコア表になる。行＝問う語、列＝答える語。