AI解剖教室 · Part 1 AIの言葉は数字

第9章 内積：どれだけ同じ向き？

Q. 2本の矢印がどれくらい同じ方を指しているか、数字1つで表せるでしょうか？

1. 2つのベクトルがどれくらい似ているかをはかる、もう1つの方法が内積です。計算は簡単。同じマスどうしをかけて、全部足します。
2. ゆい(8, 3)とさくら(7, 4)。8かける7は56、3かける4は12。2つを足した68が内積です。
3. ゆいとはると(2, 9)は？8かける2は16、3かける9は27、合計43。さくらより小さいですね。向きがあまり似ていないからです。
4. 矢印を回すと、同じ方を指すほど内積は大きくなります。直角なら0、反対を指すとマイナス（負の数）になります。
5. 矢印が長くなると、内積も大きくなります。内積には、向きがどれだけ同じかと、どれだけ強いかがいっしょに入っています。
6. GPTのアテンションは、この内積で単語どうしがどれだけ関係しているかを点数にします。第47章でまた会いましょう。
7. 同じマスどうしをかけて、全部足す。トランスフォーマーがいちばんよく行う計算の1つです。

この章のまとめ

• 内積：同じマスどうしをかけて全部足す。(8, 3)·(7, 4) = 56 + 12 = 68。
• 同じ向きなら大きく、直角なら0、反対向きならマイナス。
• 矢印が長いほど大きくなる。アテンションが関連度をはかる計算。