AI解剖课堂 · Part 8 ChatGPT 的诞生
第 76 章 用表扬来打磨
Q. 如果“好的回答”没法用话说清楚，该怎么教？
- 教小狗“坐下”时，我们不会用话去解释。做对了就给零食，被表扬的动作就会越来越多。
- 模型也一样。收到问题，模型写出回答，第 75 章的评分员来打分。这个分数就是零食。
- 修改数字，让得分高的回答出现得更多，得分低的更少。这就是基于人类反馈的强化学习（RLHF）。
- 把回答的样子排成一条线，模型会一点点挪向分数高的那边。就像小狗朝零食走过去一样。
- 可是只追分数很危险。它可能找到评分员的漏洞，冲向满篇夸奖的奇怪回答。
- 所以要给它拴上绳子：离原来的模型（第 73 章）太远，就扣分。这根绳子叫作 KL 惩罚。
- 效果惊人。比起 1750 亿参数的 GPT-3，人们更喜欢经过 RLHF 的 13 亿参数 InstructGPT 的回答。
- 模仿示范答案，加上人的夸奖。靠这两样，对话练习完成了。设计图又填好了一格！
本章小结
- RLHF：模型写出回答，修改数字，让评分员打分高的回答出现得更多。
- 只追分数的话，会冒出钻评分员漏洞的奇怪回答。
- 用绳子（KL 惩罚）拴住，不让它离原来的模型太远。