AI解剖教室 · Part 3 文字を数字に

第33章 埋め込み：意味の座標

Q. 「犬」と「猫」が似ていることを、数でどうやって表すのでしょう？

1. ワンホットの代わりに、単語ごとに短い数の列をあげます。犬は[0.8, 0.7, −0.2]。単語をこんな数の列に変えるのが埋め込みです。
2. 数が3つなら、3D空間の点1つになります。単語たちが星座のように空間に浮かんでいます。
3. 意味が似た単語は近くに集まります。動物は動物どうし、果物は果物どうし。第8章の単語地図を3Dにしたものです。
4. 似ている度合いは内積で測れます(第9章)。犬・猫は1.11、犬・バスは−0.58。向きが同じほど大きくなります。
5. モデルの中には埋め込みの表があります。1行がトークン1つ。トークン番号でその行を探して、取り出して使います。
6. 最初、表には数がでたらめに入っています。次のかけら当てを学習するうちに、似た単語どうしが自分の場所を見つけていきます。
7. 本物の大きさは？ GPT-3はトークンごとに数が12,288個、行は約5万。この表だけで6億個以上の数が入っています。
8. トークンを意味の座標に変える埋め込み。設計図の2つめの部品が埋まりました。次の章では、座標が意味を持つしくみを見ます。

この章のまとめ

• 埋め込み：トークンごとに短い数の列(ベクトル)をあげること。その数がそのまま座標。
• 意味が似た単語は近くに、同じ向きに置かれる(距離は第8章、内積は第9章)。
• 埋め込みの表の数は学習で決まる。GPT-3の表には6億個以上の数。