AI解剖教室 · Part 7 GPTに勉強させる：事前学習

第63章 教科書はインターネット

Q. ChatGPTは、いったいどんな本で勉強したのでしょう？

1. ChatGPTの教科書はインターネットです。ニュース、百科事典、ブログ、本、コードまで、人が書いた文章をものすごい量集めます。
2. でも、集めた文章をそのまま使ってはいけません。同じ文章が何度もコピーされ、広告や壊れた文、悪い言葉もまざっています。
3. そこで文章の工場を通します。1つめは重複の削除。同じ、またはほぼ同じ文章は1つだけ残して消します。
4. 2つめは品質フィルター。広告、意味のない文字の羅列、同じ言葉のくり返しなど、学べることがない文章を取り除きます。
5. 3つめは有害コンテンツのフィルター。悪口、危ない内容、電話番号のような個人情報が入った文章を外します。
6. 説明用の例では、100集めたら25しか残りません。実際の割合はデータによってちがいます。
7. GPT-3は、こうして選んだ文章で約3,000億トークンを勉強しました。第4章で見たとおり、よいデータがよいモデルをつくります。

この章のまとめ

• ChatGPTの教科書 = インターネットの膨大な文章（ニュース、百科事典、本、コード…）。
• そのままは使わず、重複の削除 → 品質フィルター → 有害コンテンツのフィルターを通す。
• 取り除くと量は減るけれど、よいデータがよいモデルをつくる。