AI解剖教室 · Part 2 機械はどうやって学ぶのか

第25章 過去問だけ覚えた生徒

Q. 練習問題は全部正解なのに、テストになるとまちがえるAI。なぜでしょう？

1. 過去問だけを丸暗記した生徒は、過去問では満点なのに、初めて見る問題ではボロボロ。AIにも同じことが起きます。
2. 8軒の待ちと星で練習します。これが訓練データです。単純な直線は、点の間をほどよく通ります。
3. とても複雑なモデルを長く学習させると、8つの点を全部ぴったり通るくねくねの線になります。訓練損失は0です。
4. でも初めて見る7軒（検証データ）を入れると、とんでもない答えを出します。暗記しただけなのです。これが過学習（overfitting）です。
5. 学習しながら2つの損失をいっしょにかくと、訓練損失は下がり続けるのに、検証損失はある時点からまた上がります。
6. 検証損失がいちばん低いときに止めるか、データをもっと集めます。初めての問題もうまく解ける力を、汎化（generalization）といいます。
7. GPTも学習のとき、別にとっておいた文章で検証損失を見守ります。暗記ではなく、本当に学んだかを確かめるのです。

この章のまとめ

• 過学習：訓練データを暗記して、訓練損失は低いのに、初めてのデータではまちがえる。
• 検証データ（学習に使っていない問題）で確かめる。検証損失がまた上がったら危険信号。
• 防ぐ方法：検証損失がいちばん低いときに止める、データを増やす。目標は汎化。