AI解剖教室 · Part 2 機械はどうやって学ぶのか

第19章順伝播

Q. ニューラルネットワークに数字を入れると、中では何が起きているのでしょう？

第18章のような層のある小さなネットワークに、A店を入れてみます。入力3つ、ニューロン2つの層、星の数を出す出力ニューロンです。
入力の数字が線にそって流れ、重みとかけられます。「人気」ニューロンは1.5 + 2 − 2にバイアス −0.5を足して1です。
「辛すぎ」ニューロンは、辛さが4段階を超えるとオンになる警報です。3 − 4 = −1なので、ReLUが0にしてオフにします。
層の出力1と0が次の層へ流れます。1 × 1.5 + 0 × (−1) + 2 = 3.5。予想の星は3.5です。
このように、入力から出力の方へ、一方向に順番に計算することを順伝播（forward pass）といいます。
辛さを5段階に上げると、警報ニューロンがオンになって1点減らします。同じネットワークでも、入力によって働くニューロンが変わります。
GPTも順伝播で答えを出します。文章が96個の層を順番に通り、最後に次の単語の確率が出ます。でも3.5点、合っていたでしょうか？

この章のまとめ

順伝播：入力 → 層 → 出力と、一方向に順番に計算すること。
ニューロンごとに (入力 × 重み) の合計 + バイアス、それからReLUで折り曲げる。
GPTも順伝播で答えを出す：96個の層を通って、次の単語の確率が出る。