AI解剖课堂 · Part 8 ChatGPT 的诞生

第 75 章 AI 评分员

Q. 如果有个 AI 能代替人给答案打分，会怎么样？

1. 我们来造一个代替人打分的 AI。放进答案，就输出一个分数的机器：奖励模型（reward model）。
2. 它的内部和 GPT 一样是 Transformer。只是最后不再输出下一个片段的概率，而是改成输出一个分数。
3. 一开始它乱打分。人说 B 更好，评分员却给了 A 更高的分。
4. 那就按错的程度修改数字（第 21 章），让 B 的分数往上走，A 的分数往下走。
5. 把两个分数放进第 14 章的 Softmax，就得到“B 获胜的概率”。练习让这个概率和人的选择一致。
6. 用非常多的比较对练习之后，第一次见的答案，它也能按人喜欢的程度打出分数。
7. 不过评分员也不完美。它有时会被满篇夸奖的答案骗到，打出高分。第 76 章再来看。

本章小结

• 奖励模型：放进问题和答案，输出一个分数的评分员 AI。
• 按照人给的比较对，修改数字，让“更好的答案”分数更高。
• 两个分数的 Softmax = 更好的答案获胜的概率。评分员偶尔也会被骗。