AI解剖课堂 · Part 4 Transformer 之前的故事

第 39 章 神经网络语言模型

Q. 一句从来没见过的话，AI 怎么猜出下一个词？

1. n-gram 就算数过很多次“猫”后面的词，只要从没见过“小狗”，就完全不知道下一个词是什么。因为是 0 次。
2. 2003 年，本吉奥（Bengio）的团队提出了新方法：用神经网络来猜下一个词，叫神经网络语言模型。
3. 先给每个词一个数字向量，就是第 33 章的嵌入。用法相近的词会放在相近的位置。
4. 把前面三个词的向量接在一起，送进神经网络。经过 Part 2 学过的神经元层，每个候选词都会得到一个分数。
5. 分数经过 Softmax（第 14 章）变成概率：学校 65.7%、图书馆 24.2%、公园 8.9%、披萨 1.2%。
6. 小狗的向量离猫很近，经过神经网络也会得到相似的答案。所以第一次见的句子也能猜。
7. 训练时，神经网络的权重和词向量会一起修改。10 年后的 Word2Vec（第 34 章）专门只做词向量。
8. 但还是有局限：它仍然是只看前面几个词的固定窗口。想看整句话怎么办？第 40 章来揭晓。

本章小结

• 2003 年的神经网络语言模型：用词向量（嵌入）+ 神经网络预测下一个词。
• 相近的词 = 相近的向量，所以第一次见的句子也能猜得像模像样。
• 训练时词向量也一起被打磨。局限：仍然是只看前面几个词的窗口。