AI解剖教室 · Part 2 機械はどうやって学ぶのか

第17章 曲げてこそ：活性化関数

Q. ラーメンはほどよい辛さがいちばん。ニューロンもそれに気づけるでしょうか？

1. 値段が同じ店13軒を、辛さと待ちで点にしました。丸は友だちが選んだ当たり、バツははずれの店です。
2. 第16章のニューロンは、直線1本で平面を分けます。でも直線をどう動かしても回しても、最低2軒は必ずまちがえます。
3. ニューロンはかけて足すだけなので、境界はいつも直線です。いくつつないでも、直線と直線を足せばまた直線です。
4. そこでニューロンの出力を1回折り曲げます。ReLUはマイナスなら0、プラスならそのまま出します。このしかけを活性化関数といいます。
5. 折れた線を使えばV字の境界が作れます。当たりとはずれがきれいに分かれました。作り方は第18章で見ます。
6. GPTは、ReLUをなめらかにしたGELUを使います。0の近くが丸く、マイナス側はほんの少し下がってから0にもどります。
7. 活性化関数がなければ、いくら積み重ねても直線1本と同じ。折り曲げられるからこそ、複雑な形を学べます。

この章のまとめ

• ニューロン1つ（かけて足す）の境界はいつも直線。直線 + 直線 = 直線。
• 活性化関数 = 出力を折り曲げるしかけ。ReLU：マイナスなら0、プラスならそのまま。
• GPTはReLUをなめらかにしたGELUを使う。折り曲げてこそ複雑な形を学べる。