AI解剖教室 · Part 4 トランスフォーマー以前の物語

第43章 アテンションの誕生

Q. 翻訳しながらもとの文をもう一度見られたら、AIの翻訳はどれだけよくなるでしょう？

  1. 第42章のボトルネックを解くため、2014年、バダナウ(Bahdanau)の研究チームは考え方を変えました。最後のメモだけでなく、全部のメモを残そう！
  2. デコーダーが「I」を書くとき、残しておいたメモを見わたして、いま必要な所にスポットライトを当てます。「私は」が84%です。
  3. 次の「go」を書くときは、スポットライトがいちばん最後の「行く」へ飛びます。2つの言語の語順がちがっても問題ありません。
  4. 「to」と「school」は「学校に」を、「today」は「今日」を照らします。書く語ごとに、見る場所がちがいます。
  5. 照らす割合は、関連度のスコアをソフトマックス(第14章)で変えて決めます。その割合でメモをまぜて、デコーダーに渡します。
  6. どこを見たかを表にかくと、ななめにずれた線が見えます。語のペアを見つけて合わせるので、アラインメント(alignment)と呼びます。
  7. Part 4をまとめましょう。数える(n-gram)、ニューラルネットと語のベクトル、メモのリレー(RNN)、そしてアテンションまで来ました。
  8. そして2017年、こんな問いが出ます。メモのリレーはやめて、アテンションだけで作ったらどうだろう？ Part 5で会いましょう。

この章のまとめ