AI解剖教室 · Part 7 GPTに勉強させる：事前学習
第64章 答えのない勉強
Q. インターネットの文章には答えがついていないのに、GPTは何を見て採点したのでしょう？
- 第4章のスパムフィルターは、人が「スパム」「ふつう」と答えをつける必要がありました。でも、ネットの文章全部に答えはつけられません。
- ひみつは、文章そのものが答えになっていることです。1つの文を持ってきましょう。「私は 今日 学校に 行く。」
- 前の部分だけを見せて次のかけらを隠すと、問題になります。「私は」の次は？ 答えはすぐ後ろにあった「今日」です。
- 1マスずつのばすと、また問題ができます。「私は 今日」の次は「学校に」、「私は 今日 学校に」の次は「行く」。
- かけら5つの文から問題が4つできました。答えは人ではなく文章が教えてくれます。これが自己教師あり学習です。
- モデルはこの4問を一度に解きます。第51章の目かくしのおかげで、それぞれの位置は自分より前しか見られないからです。
- GPT-3が読んだ約3,000億トークンは、全部こういう問題です。答えの紙が1枚もないのに、問題が約3,000億問できたのです。
この章のまとめ
- 文の前の部分だけを見せて、次のかけらを当てさせると問題になる。
- 答えは文章の中のすぐ次のかけら。人が答えをつけなくていい = 自己教師あり学習。
- かけらN個の文1つ → 問題N − 1個。インターネット全体が問題集になる。