AI解剖教室 · Part 6 トランスフォーマーを組み立てる
第56章 情報の高速道路
Q. 層を96個も通ったら、最初の文の情報は全部消えてしまわないでしょうか？
- 伝言ゲームをしたことはありますか？ たくさんの人を通るほど、最初の言葉がどんどんおかしく変わりますよね。
- 層を深く積んでも同じことが起きます。層ごとにベクトルを丸ごと取りかえると、最初の情報がだんだんぼやけます。
- だからブロックはベクトルを取りかえません。部品が出した結果を元のベクトルに足します。x + f(x)です。
- 元のxはそのまま残り、部品は直したい分だけ少し足します。だから最初の情報が消えません。
- 図にすると、元の情報は高速道路をまっすぐ走り、部品たちはわき道で計算した結果を足していきます。
- 学習のときにも便利です。間違えた分を直せという信号が、高速道路を通っていちばん前の層までよく届きます（第23章）。
- 結果を元の値に足すこの道を、残差接続といいます。部品は「直す差」だけを受け持てばいいのです。
この章のまとめ
- 層ごとにベクトルを丸ごと取りかえると、最初の情報がぼやける。伝言ゲームのように。
- 残差接続：出力 = x + f(x)。元の情報は高速道路で運び、部品は直す差だけを足す。
- 直す信号も高速道路で前の層までよく届くので、深く積める。