AI解剖课堂 · Part 8 ChatGPT 的诞生

第 74 章 人来排名次

Q. 有没有比亲手写示范答案轻松得多的办法？

1. 写示范答案很难，但从现成的答案里挑出更好的却很容易。就像批改作文比写作文容易一样。
2. 所以让模型对同一个问题写好几个答案。它按概率来抽，每次的答案都不一样（第 2 章）。
3. 人读完答案，给它们排名次。B 第 1，C 第 2，给了糟糕建议的 A 第 3。
4. 把名次换成两两比较：B 比 C 好，B 比 A 好，C 比 A 好。这就是真正的训练数据的样子。
5. 有 4 个答案的话，能得到 6 对比较。排一次名次，就得到好几条比较数据。
6. 排名次有三条标准：有没有帮助，是不是事实，有没有害处。这样收集来的，叫作人类偏好数据。
7. 可人不可能一直给所有答案打分。所以要用这些数据，造一个会打分的 AI。这是下一章。

本章小结

• 比起亲手写答案，从几个答案里挑选更容易、更快。
• 名次会变成两两比较（更好的答案 > 差一点的答案）。3 个答案得 3 对，4 个得 6 对。
• 标准：有没有帮助，是不是事实，有没有害处。这就是人类偏好数据。