AI解剖教室 · Part 8 ChatGPTの誕生

第75章 AIの採点係

Q. 人のかわりに答えに点数をつけてくれるAIがあったら、どうでしょう？

1. 人のかわりに採点するAIを作ります。答えを入れると点数が1つ出てくる機械、報酬モデル（reward model）です。
2. 中身はGPTと同じトランスフォーマーです。ただ最後に、次のかけらの確率のかわりに、点数を1つ出すように変えました。
3. 最初はでたらめに採点します。人はBがよいと言ったのに、採点係はAのほうに高い点数をつけました。
4. そこで、間違えた分だけ数を直します（第21章）。Bの点数は上がり、Aの点数は下がる向きにです。
5. 2つの点数を第14章のソフトマックスに入れると、「Bが勝つ確率」になります。この確率が人の選択と合うように練習します。
6. とてもたくさんの比較ペアで練習すると、はじめて見る答えにも、人が気に入りそうな度合いを点数でつけます。
7. でも採点係も完璧ではありません。ほめ言葉ばかり並べた答えにだまされて、高い点数をつけることもあります。第76章でまた見ます。

この章のまとめ

• 報酬モデル：質問と答えを入れると点数を1つ出す、採点係のAI。
• 人の比較ペアで「よいほうの答え」の点数が高くなるように、数を直しながら学ぶ。
• 2つの点数のソフトマックス = よいほうの答えが勝つ確率。採点係もときどきだまされる。