AI解剖课堂 · Part 9 回答诞生的瞬间

第 81 章 创造力旋钮

Q. AI 的“创造力”能用一个数字来调吗？

1. 第 14 章把分数 3、2、1、−1 放进 Softmax，“学校”得到 65.7%。现在给它装一个旋钮。
2. 这个旋钮叫温度（temperature）。先把分数除以温度，再放进 Softmax。温度是 1 时，一切照旧。
3. 把温度降到 0.5，分数变成 6、4、2、−2。差距拉大一倍，“学校”变成 86.7%，一下子变尖了。
4. 把温度升到 2，分数变成 1.5、1、0.5、−0.5。差距缩小，分布变平，披萨也有 6.4% 了。
5. 拧到头会怎样？温度接近 0，只剩第 1 名，就成了贪心（第 80 章）；温度很高，所有候选都差不多。
6. 用玩具模型写句子：温度 0.2 时原地打转，温度 1 时很自然，温度 2 时就变得古怪。
7. 要准确的回答，适合低温度；要新点子，适合高温度。温度不改变知识，只是重新分配概率。

本章小结

• 温度：先把分数除以温度，再放进 Softmax。
• 温度低，分布尖，第 1 名独占；温度高，分布平，大家都有机会被抽中。
• 低温度稳定，高温度多样。模型的知识并没有变。