AI解剖教室 · Part 3 文字を数字に
第35章 埋め込み宇宙の探検
Q. 単語の地図で「犬」のとなりにはだれが住んでいて、「かみ」はどのあたりにいるのでしょう？
- これまで作った埋め込みの宇宙を探検しましょう。単語31個を2Dの地図に広げました。場所は説明用の例です。
- 「犬」を検索すると、近い単語から順に明かりがつきます。うさぎ、猫、ハムスター…みんな動物です。
- 近さの順番は距離で決めました(第8章)。本物のAIの検索では、向きがどれだけ同じか、つまり内積(第9章)をよく使います。
- 仲間はずれ探しもできます。ノート、はさみ、定規、神社。神社だけ、ひとりで遠くにいますね。
- では「かみ」はどこでしょう？ 文房具、神社、体のグループの間にはさまっています。紙・神・髪と、意味がいくつもあるからです。
- 単語1つに場所は1つだけなので、どの「かみ」かは文を見ないとわかりません。この問題は第45章のアテンションが解きます。
- 本物の埋め込みは、GPT-3なら12,288次元です。この地図は、それを2Dにおしつぶしてかいた影なので、少しずつゆがんでいます。
- 埋め込みの宇宙では、近ければ似ていて、向きは関係を表します。これで単語が、意味のこもった数になりました。
この章のまとめ
- 埋め込みの空間では、近い単語は意味も似ている。検索＝近い点を探すこと。
- 「かみ」のように意味がいくつもある単語は、グループの間にはさまっている。
- どの意味かは文を見ないとわからない。それをするのがアテンション(第45章)。