AI解剖教室 · Part 4 トランスフォーマー以前の物語

第41章 RNNの限界

Q. メモのリレーがそんなにいいなら、なぜChatGPTはRNNを使わないのでしょう？

1. 今度は長い文です。「昨日 私は 弟と … 学校に」の次は「行った」のはずです。最初の「昨日」があるからです。
2. メモを1マスずつ渡すたびに、「昨日」は少しずつうすくなります。11マスを過ぎると、字がほとんど見えません。
3. だから最後のメモだけを見たRNNは「行く」をえらびます。遠くはなれた語どうしの関係、長期依存を見落としたのです。
4. 学習のときも問題です。まちがいの責任(第23章)を逆向きに伝えるときもマスごとに小さくなり、10マス前ではたった0.11倍です。
5. 1997年のLSTMは、メモに保管箱と門をつけて、大事な内容がうすれにくいように守りました。それでも、とても長い文ではやがてうすれます。
6. 2つめの問題は順番待ちです。2番のマスは、1番のマスのメモが来るまで始められません。ほかのGPUは順番を待って遊んでいます。
7. GPUは、たくさんの計算を同時にするのが得意です(第68章)。なのに語が1,000個なら、1,000回を順番にしなければなりません。
8. まとめると、RNNはメモがうすれ、順番待ちをします。トランスフォーマーが両方を解決します(Part 5)。その前に第42章で翻訳機を見ましょう。

この章のまとめ

• 限界①：メモがマスごとにうすれ、遠くはなれた語の関係(長期依存)を見落とす。
• 1997年のLSTMは保管箱と門で長く覚えたが、とても長い文ではやがてうすれる。
• 限界②：前のマスが終わらないと次のマスを計算できず、GPUが順番待ちをする。