AI解剖课堂 · Part 9 回答诞生的瞬间

第 82 章 缩小候选范围

Q. 转盘上有“披萨”这一格，总有一天会真的抽中“披萨”吧？

1. 采样有个陷阱。候选有好几万个，再小的柱子全加起来，尾巴也不算薄。
2. 就算尾巴只有 3%，写一个 100 个片段的回答，中间至少混进一个怪词的概率也高达 95%。
3. 所以要剪掉尾巴。第一种：Top-k。按概率排好，只留最前面的 k 个。k 是 3，就只留三个。
4. 剩下的 85% 重新分配，总和回到 1：学校 61.2%，图书馆 24.7%，公园 14.1%。再转转盘。
5. 第二种：Top-p。从上往下把概率加起来，一旦超过 p，比如 90%，就停下，剩下的全剪掉。
6. Top-k 永远留 3 个；Top-p 会看情况：模型有把握时只留 1 个，拿不准时留 6 个。
7. 总结一下：分数除以温度，用 Softmax 变成概率，剪掉尾巴，再转转盘。一个片段就是这样被抽出来的。

本章小结

• 候选有好几万个，小尾巴加起来，也可能抽出怪词。
• Top-k 只留前 k 个；Top-p 从上往下加，加到超过 p 为止。
• 剪完后把剩下的重新分配，让总和回到 1，再转转盘。