AI解剖教室 · Part 8 ChatGPTの誕生

第73章 模範解答をまねる

Q. 言うことを聞かないモデルに、「答え方」はどうやって教えるのでしょう？

1. 解決策は意外とシンプルです。人が自分で質問とお手本の答えを書いて、モデルに見せるのです。
2. 翻訳、計算、詩、説明まで、いろいろな質問ごとに、やさしく正確な答えを書きます。こんな例をとてもたくさん集めます。
3. 学習のしかたはPart 7とまったく同じ、次のかけら当てです。ただ、教科書がネットの文章からお手本の答えに変わりました。
4. もう賢いモデルなので、数を少しだけ整えます。お手本の答えでこう整える方法を、教師ありファインチューニング（SFT）といいます。
5. 結果はおどろくほどです。同じ質問に、もう質問を書き続けず、ちゃんと答えます。
6. はじめて見る質問にも答えます。答えを覚えたのではなく、「質問のあとは答え」という形と話し方を学んだのです。
7. でも、お手本の答えを書くのは大変で時間がかかります。そこで人々は、もっと楽な方法を考えました。次の章で見ます。

この章のまとめ

• SFT：人が書いた質問とお手本の答えで、モデルをもう少しだけ学習させる。
• 学習のしかたは事前学習と同じ次のかけら当て。教科書だけが変わる。
• モデルは答えを覚えるのではなく、答える形と話し方をまねする。