AI解剖教室 · Part 5 アテンション完全攻略

第51章未来をのぞき見しないで

Q. 次の語を当てる練習なのに、その語を先に見られたら、勉強になるでしょうか？

GPTは次の語を当てるモデルです(第1章)。でも第47章のスコア表で、「私は」はうしろに来る語まで見ています。
学習のときは、文全体をいっぺんに入れます。うしろの語が見えたら、正解を先にのぞき見するのと同じで、勉強になりません。
そこで、目かくしの幕を下ろします。各語は、自分自身と前の語だけを見られます。対角線より上のマスを全部かくします。
かくしたマスのスコアは−∞、限りなく小さい数に変えます。eの−∞乗は0なので、ソフトマックスするとそのマスは0%になります。
行ごとにもう一度ソフトマックスすると、「私は」は自分だけ100%、「今日」は「私は」97.2%、自分2.8%を見ます。
「行く」の行は、もともと見る語がみんな前にあるので、そのままです。第49章でまぜた(2.25, 1.52)もそのままです。
この三角形の目かくしのおかげで、すべての場所をいっぺんに学習しながら、未来は見えません。これを因果マスク(causal mask)といいます。
文章を作るときも同じです。1語ずつ書いていくので(第2章)、まだ書いていない未来は見えません。

この章のまとめ

学習のときにうしろの語が見えると、正解をのぞき見するのと同じ。だから未来のマスをかくす。
かくしたマスのスコアを−∞に変えると、ソフトマックスのあとの割合が0%になる。
各語は自分と前の語だけを見る：因果マスク(causal mask)。最後の語の行はそのまま。