AI解剖教室 · Part 3 文字を数字に
第34章 まわりの単語が意味を教えてくれる
Q. だれも意味を教えていないのに、AIは「コーヒー」と「緑茶」が似ていると、どうしてわかるのでしょう？
- 「カフェで温かい〇〇を飲んだ。」空欄には何が入るでしょう？ はじめて見る文でも、まわりの単語を見れば見当がつきますね。
- コーヒー、緑茶、ココアのように、同じ場所に来る単語は意味も似ています。意味はまわりの単語が教えてくれる。これを分布仮説といいます。
- 2013年に出たWord2Vecは、この考えを学習に変えました。1つの単語を見て、まわりの単語を当てる練習を、ものすごくたくさんさせます。
- 練習を終えると、まわりが似ている単語どうしのベクトルが近くなります。だれも意味を教えていないのに、です。
- おどろくことに、向きにも意味が入ります。男から女へ向かう矢印と、王から女王へ向かう矢印が、ほぼ同じなのです。
- だから王 − 男 + 女を計算すると、女王のすぐそばに着きます。(7, 2.5) − (2, 2) + (2, 5) = (7, 5.5)。
- 東京 − 日本 + 韓国 ≈ ソウルにもなります。本物のWord2Vecは数百次元で、いつもこうぴったりとはいきません。この地図は説明用の例です。
- 単語の意味は、まわりの単語が教えてくれる。GPTの埋め込みも、次のかけらを当てながら同じように意味を学びます。
この章のまとめ
- 分布仮説：同じ場所(まわりの単語)に来る単語は、意味も似ている。
- Word2Vec(2013)：まわりの単語を当てる練習で、単語のベクトルを作る。
- 向きにも意味が入る：王 − 男 + 女 ≈ 女王。