AI解剖课堂 · Part 1 AI 的语言是数字

第 9 章 点积：方向有多一致？

Q. 两支箭头有多指向同一边，能用一个数字表示吗？

1. 衡量两个向量有多像，还有一种方法：点积。算法很简单：同一格的数相乘，再全部加起来。
2. 小雨 (8, 3) 和小美 (7, 4)：8 乘 7 是 56，3 乘 4 是 12，加起来的 68 就是点积。
3. 小雨和小杰 (2, 9) 呢？8 乘 2 是 16，3 乘 9 是 27，和是 43。比小美小，因为方向没那么像。
4. 转动箭头就会发现：指向越一致，点积越大；垂直时是 0，指向相反就变成负数。
5. 箭头变长，点积也会变大。点积里同时装着“方向有多一致”和“有多强”。
6. GPT 的注意力，就是用点积给词与词之间的关联程度打分。第 47 章还会再见。
7. 同一格相乘，再全部加起来。这是 Transformer 做得最多的计算之一。

本章小结

• 点积：同一格相乘再全部相加。(8, 3)·(7, 4) = 56 + 12 = 68。
• 方向相同就大，垂直是 0，方向相反是负数。
• 箭头越长越大。注意力用它来衡量关联程度。