AI解剖教室 · Part 7 GPTに勉強させる：事前学習

第71章 例を見せるだけで学ぶ

Q. 数を1つも直していないのに、モデルが新しい仕事を覚えられるのでしょうか？

1. GPT-3を紹介した2020年の論文の題名は「言語モデルはフューショット学習者」。例をいくつか見るだけで新しい仕事ができる、という意味です。
2. 「速い →」だけでは、モデルは何をしてほしいのかわかりません。反対語がほしいのに、「速く走る」のようにただ文を続けがちです。
3. 前に例を1つつけてみましょう。「大きい → 小さい」。すると、矢印のあとには反対語が来ると気づきはじめます。
4. 例を3つつけると「遅い」がほぼ確実になります。おどろいたことに、モデルの中の数は1つも変わっていません。
5. これが文脈内学習（インコンテキスト学習）です。第66章のように数を直す学習ではなく、プロンプトの中の例から決まりを読みとるのです。
6. 例の数ごとの正解率を描くと、例が増えるほど上がります。そして大きいモデルほど、例のおかげをたくさん受けます。
7. 例なしならゼロショット、1つならワンショット、いくつもならフューショット。例の入れ方のコツは第85章のプロンプトでまた使います。
8. Part 7ではGPTに勉強させました。教科書、次のかけら当て、驚きを減らす、訓練の輪、大きさの力。次は会話を学ぶ番です！

この章のまとめ

• プロンプトで例を見せると、モデルがその場で決まりを読みとってまねする = 文脈内学習。
• モデルの中の数はそのまま。例0個はゼロショット、1個はワンショット、いくつもならフューショット。
• Part 7：ネットの教科書 → 次のかけら当て → 驚きを減らす → 訓練の輪 → 大きさの力。