AI解剖教室 · Part 8 ChatGPTの誕生
第72章 賢いけれど言うことを聞かないモデル
Q. インターネットの文章をものすごい量読んだモデルに質問したら、すぐに答えてくれるでしょうか？
- Part 7で、ネットの文章で次のかけら当てを勉強し終えたモデルがいます。これをベースモデル（base model）といいます。
- このモデルに聞いてみましょう。「日本の首都はどこですか？」 もちろん東京と答えますよね？
- ところが答えるかわりに、質問を書き続けます。韓国の首都は？ 中国の首都は？ まるでテストの問題リストです。
- モデルには、この文が問題集の1行めに見えたのです。ネットには、質問のあとにまた質問が続く文章がとても多いからです。
- ベースモデルが学んだのは、それらしく続きを書くことだけです（第2章）。質問に答えろと教わったことはありません。
- そこで工夫しました。「質問：… 答え：」の形で文章を始めると、次のかけらに答えが来る確率がぐんと上がります。
- でも毎回工夫するわけにはいきません。賢いけれど言うことを聞かないこのモデルを、素直にするのがPart 8のお話です。
この章のまとめ
- ベースモデルは、ネットの文章で次のかけら当てだけを学んだモデル。
- 質問をあたえると、答えるかわりに問題集のように質問を書き続けることもある。
- 文章の形を変えれば答えを引き出せるが、根本的な解決は別に教えること。