AI解剖教室 · Part 5 アテンション完全攻略

第49章混ぜて新しい意味をつくる

Q. 見つめる割合はわかりました。では、その割合で何を、どうやって持ってくるのでしょう？

第48章で、「行く」が見つめる割合が出ました。学校に55.7%、私は27.5%、行く13.5%、今日3.3%。
今度は、各語のValue、つまり本の中身を取り出します。語ごとに渡す情報が入ったベクトルです。色で区別してみましょう。
絵の具をまぜると考えてみましょう。割合の分だけ絵の具をしぼって、1つのコップに入れます。学校にの絵の具がいちばん多く入ります。
数では、割合 × Valueを全部足します。たとえば「学校に」の分は0.557×(3, 2)。4つの語の分を全部足します。
結果は約(2.25, 1.52)。文脈をまぜて新しく作った「行く」のベクトルです。「学校に」の情報がいちばん多く入っています。
割合の合計が1なので、まぜた結果はいつもValueたちの間のどこかに来ます。たくさん見た語のほうへ引っぱられます。
第45章で「かみ」が神のほうへ動いたのが、まさにこの計算です。割合どおりにかけて足す、これを加重和といいます。
ここまでは「行く」1語だけを計算しました。次の章では、すべての語を行列でいっぺんに計算します。

この章のまとめ

見つめる割合の分だけValueをかけて、全部足す。これが加重和。
割合の合計が1なので、結果はいつもValueたちの間に来る。
たくさん見た語の情報が多くまざった、新しいベクトルになる(第45章の「かみ」)。