AI解剖教室 · Part 1 AIの言葉は数字

第15章 大きさをそろえる：正規化

Q. 100点満点のテストと20点満点のテスト、どちらのほうがよくできたのでしょう？

1. 数学のテストは100点満点、小テストは20点満点。数字の大きさがちがうので、そのままでは比べられません。
2. そこで大きさをそろえます。1つ目、平均を引きます。平均の位置が0になり、平均より高いか低いかが見えます。
3. 2つ目、散らばりの大きさで割ります。散らばりの大きさは標準偏差で表します。これで2つのテストが同じものさしになります。
4. 数学85点と小テスト17点。どちらも平均より標準偏差1.5個分高く、同じくらいよくできています。このようにそろえることを正規化といいます。
5. GPTでも、ベクトルが層を通るたびに数字が大きくなりすぎたり小さくなりすぎたりします。だから層ごとに正規化で大きさをそろえ直します。
6. 第57章で見るレイヤー正規化がまさにこれです。何十層も積み重ねても、計算がぐらつかないようにしてくれます。
7. 平均を引いて、散らばりの大きさで割る。これでPart 1の数学の道具箱が完成しました！

この章のまとめ

• ① 平均を引く：平均の位置が0になる。
• ② 標準偏差で割る：散らばりの大きさが1にそろう。
• GPTは層ごとに正規化して、数字が暴走しないようにする（第57章）。