AI解剖教室 · Part 2 機械はどうやって学ぶのか

第18章層を重ねると

Q. ニューロン1つでは解けない問題。ニューロンをいくつか集めれば解けるでしょうか？

第17章のV字の境界は、どうやって作るのでしょう？ニューロン1つでは直線しかかけないので、いくつか集めて層を作ります。
1つ目の層にニューロンを2つ置きます。「辛さ − 3」と「3 − 辛さ」を計算し、どちらもReLUでマイナスを0に折り曲げます。
2つの値を足すと「3段階からどれだけ離れているか」になります。1段階と5段階は同じ2、2段階と4段階は同じ1です。
平面で見ると、紙を3段階の線で半分に折ったのと同じです。左側の点が右側に重なります。
折った紙の上では、V字がまっすぐにのびます。あとは次の層のニューロン1つが、直線1本できれいに分けます。
層をもっと重ねれば、何度でも折れます。2回折ればW字、何回も折れば、とても複雑な境界も作れます。
こうして層を重ねたネットワークを、多層パーセプトロン（MLP）といいます。GPT-3は層ごとに、こういうニューロンを49,152個使います。

この章のまとめ

ニューロンを横に並べる = 層。層をいくつもつなげると多層パーセプトロン（MLP）。
ReLUニューロン2つで空間を「折る」ことができる。折るとV字が直線になる。
層が深いほど、何度も折って、より複雑な境界を作れる。