AI解剖教室 · Part 5 アテンション完全攻略

第45章 単語どうしが見つめ合う

Q. ひらがなで「かみ」と書いたら、紙？ 神？ 髪？ AIはどうやって見分けるのでしょう？

1. 「かみ」ということばには、意味がいくつもあります。書く紙、神社の神、そして頭の髪。
2. 第33章の埋め込みでは、「かみ」はいつも同じベクトル1つ。だから、ひとりでは3つの意味のまん中あたりにいます。
3. では、文の中に入れてみましょう。「神社で毎日祈るあのかみ」。
4. 「かみ」が、前にある語を見わたします。関係が深い語ほど太い線で、たくさん見つめます。
5. そして見つめた分だけ、その語の意味をまぜてきます。「神社で」と「祈る」をたくさんまぜたので、神のほうへ動きました。
6. 文が変わるとどうでしょう？「文房具の店でノートとかみ」。今度は文房具とノートをよく見て、紙のほうへ行きます。
7. こうして各語が、文の中のほかの語を見て、自分の意味を直すこと。これがセルフアテンションです。
8. でも、関係の深さはどうやって決めるのでしょう？ 次の章で、Query、Key、Valueを使って見ていきます。

この章のまとめ

• 同じ語でも、文脈によって意味がちがう。
• 各語は前の語を見て、関係の深い語ほどたくさん見つめる。
• 見つめた分だけ意味をまぜて、自分の意味を直す。これがセルフアテンション。