AI解剖课堂 · Part 4 Transformer 之前的故事

第 40 章 RNN：传纸条接力

Q. 句子有长有短，AI 怎么一边读一边记住前面的内容？

1. 第 39 章的神经网络只看前三个词，可句子有长有短。于是有了新想法：一个词一个词地读，把要点写在纸条上传下去！
2. 每一格放一个词。每一格接过前一格传来的纸条，看看现在的词，改写一下，再传给下一格。
3. “昨天”写进“时间”栏，“我”写进“谁”栏，“和朋友”写进“和谁”栏。前面的内容会抄得淡一点。
4. 每一格改写的规则都一样：旧纸条乘 0.8，加上现在的词，再压到 −1 和 1 之间。
5. 只看最后一张纸条来猜下一个词。纸条上还留着“昨天”，所以“去了”是 70%。这张纸条叫隐藏状态。
6. 只把第一个词换成“明天”，这次“要去”是 70%。最前面的词顺着纸条一直传到了最后。
7. 展开是接力，折起来就是同一台机器在转圈。所以它叫循环神经网络，RNN。句子再长也没关系。

本章小结

• RNN：一个词一个词地读，改写纸条（隐藏状态）再传给下一格。
• 每一格都用同样的规则（同样的权重），所以句子长短都可以。
• 用最后一张纸条猜下一个词。最前面的词也能顺着纸条传到最后。