AI解剖教室 · Part 8 ChatGPTの誕生

第76章 ほめて磨く

Q. 「よい答え」を言葉で全部説明できないなら、どうやって教えればいいのでしょう？

1. 犬に「おすわり」を教えるとき、言葉で説明はしませんよね。うまくできたらおやつをあげると、ほめられる行動がだんだん増えます。
2. モデルも同じです。質問を受けるとモデルが答えを書き、第75章の採点係が点数をつけます。この点数がおやつです。
3. 点数が高かった答えはもっと多く、低かった答えは少なく出るように数を直します。これが人間のフィードバックによる強化学習（RLHF）です。
4. 答えの形を1列に並べると、モデルは点数が高いほうへ少しずつ移っていきます。犬がおやつのほうへ行くように。
5. でも点数だけを追うと危険です。採点係のすきを見つけて、ほめ言葉ばかり並べるおかしな答えへ走ることがあるからです。
6. そこでリードをつけます。元のモデル（第73章）から離れすぎたら点数を減らします。このリードをKLペナルティと呼びます。
7. 効果はおどろくほどでした。人々は1,750億のGPT-3より、RLHFを通した13億のInstructGPTの答えのほうを好んだのです。
8. お手本の答えをまねることと、人のほめ言葉。この2つで会話の練習が終わりました。設計図の空欄が1つ埋まりました！

この章のまとめ

• RLHF：モデルが答えを書き、採点係の点数が高い答えがもっと多く出るように数を直す。
• 点数だけを追うと、採点係のすきをねらったおかしな答えが出てくる。
• リード（KLペナルティ）で、元のモデルから離れすぎないようにする。