AI解剖教室 · Part 7 GPTに勉強させる：事前学習

第65章 驚きの大きさ

Q. 正解に52%をかけたモデルは、どれくらい間違えたのでしょう？ 間違いの度合いを1つの数で測れるでしょうか？

  1. モデルは「私は 今日 学校に」の次に、行くに52%をつけました。正解は行くでした。モデルはどれくらい間違えたのでしょう？
  2. 人で言えば「驚き」です。起きると信じていたことが起きてもあまり驚かず、まさかと思ったことが起きるとびっくりしますよね。
  3. 驚きを数で測ってみましょう。確実なこと（確率1）が起きたら驚きは0。確率が半分になるたびに、驚きが1ずつ増えます。
  4. 1/4なら2、1/8なら3。8にするには2を何回かければいいかを数えるのです。2 × 2 × 2 = 8、だから3。
  5. 点をつなぐと、確率が0に近づくほど驚きはどこまでも跳ね上がります。数学ではこの計算を対数（log）といい、高校数学で習います。
  6. 行く52%で測ると、驚きは約0.94。行くに12%しかつけていなかったら約3.06です。正解に多くかけるほど驚きは小さくなります。
  7. 問題ごとの驚きを平均すると、交差エントロピー（cross-entropy）です。これがGPTの損失で、学習はこれを小さくすることです。

この章のまとめ