AI解剖教室 · Part 4 トランスフォーマー以前の物語
第40章 RNN：メモのリレー
Q. 文の長さはばらばらなのに、AIは前の内容をどうやって覚えながら読むのでしょう？
- 第39章のネットは、前の3語しか見ませんでした。文の長さはばらばらなのに。そこで生まれた考え：1語ずつ読みながら、メモに書いて渡そう！
- マスごとに語が1つずつあります。各マスは前のマスからメモを受け取り、いまの語を見て書き直して、次のマスに渡します。
- 「昨日」は「いつ」の欄に、「私は」は「だれ」の欄に、「学校に」は「どこ」の欄に書きます。前の内容は少しうすく書き写します。
- 書き直すルールは、どのマスも同じです。古いメモに0.8をかけていまの語を足し、−1と1の間におしこみます。
- 最後のメモだけを見て、次の語を当てます。メモに「昨日」が残っているので「行った」が70%。このメモを隠れ状態と呼びます。
- 最初の語だけを「明日」に変えると、今度は「行く予定」が70%。最初の語がメモに乗って、最後まで伝わったのです。
- 広げるとリレー、たたむと同じ機械がぐるぐる回る輪です。だから名前は再帰型ニューラルネット、RNN。文が長くても大丈夫です。
この章のまとめ
- RNN：1語ずつ読みながらメモ(隠れ状態)を書き直して、次のマスに渡す。
- どのマスも同じルール(同じ重み)を使う。だから文の長さがちがっても大丈夫。
- 最後のメモで次の語を当てる。最初の語もメモに乗って最後まで伝わる。