AI解剖教室 · Part 8 ChatGPTの誕生

第74章 人が順位をつける

Q. お手本の答えを自分で書くより、ずっと楽な方法はあるでしょうか？

1. お手本の答えを書くのは難しいけれど、もうある答えからよいほうを選ぶのは簡単です。作文より採点のほうが楽なのと同じです。
2. そこでモデルに、同じ質問の答えをいくつも書かせます。確率どおりに選ぶので、答えは毎回ちがいます（第2章）。
3. 人は答えを読んで順位をつけます。Bが1位、Cが2位、でたらめなアドバイスをしたAが3位です。
4. この順位を2つずつの比べっこに変えます。BはCよりよい、BはAよりよい、CはAよりよい。これが本当の学習データの形です。
5. 答えが4つなら、比べっこは6組できます。順位を1回つけるだけで、比較データがいくつも手に入るのです。
6. 順位をつける基準は3つ。役に立つか、本当か、害がないか。こうして集めたものを人間の好みデータといいます。
7. でも、人が全部の答えを採点し続けることはできません。そこで、このデータで採点するAIを作ります。次の章です。

この章のまとめ

• 答えを自分で書くより、いくつかの答えから選ぶほうが楽で速い。
• 順位は2つずつの比べっこ（よいほうの答え > よくないほうの答え）に変わる。答え3つなら3組、4つなら6組。
• 基準：役に立つか、本当か、害がないか。これが人間の好みデータ。