AI解剖课堂 · Part 1 AI 的语言是数字

第 14 章 把分数变成概率：Softmax

Q. 模型打的分数可以是负数，加起来也不一定是 1。怎样把它们变成概率？

1. 模型会给下一个词的每个候选打分。分数可以是 3，也可以是 −1 这样的负数。
2. 可是概率不能小于 0，全部加起来还必须等于 1。现在既有负数，总和又是 5。
3. 第一步：算 e 的“分数”次方。e 是约等于 2.718 的一个数。这样一来，所有值都变成了正数。
4. 还有个附带效果：大的分数会变得更大。3 分原来是 2 分的 1.5 倍，变完后约是 2.7 倍。
5. 第二步：把变换后的值全部加起来，得到 30.56。再用每个值除以这个总和。
6. 这样就得到了概率：学校 65.7%，图书馆 24.2%，公园 8.9%，披萨 1.2%。加起来正好 100%。
7. 这两步合起来就是 Softmax。第 45 章的注意力还会用到它，一定要记住哦。

本章小结

• 分数（logit）可以是负数，加起来也不一定是 1。
• ① 变成 e 的次方：全部变成正数，大的分数变得更大。
• ② 除以总和就成了概率。这两步合起来就是 Softmax。