AI解剖课堂 · Part 4 Transformer 之前的故事

第 38 章 只看前面几个词

Q. 早期的 AI 是怎么算出“下一个词的概率”的？

1. 求概率最简单的办法就是数一数。先要有一个收集了大量句子的本子，叫语料库（corpus）。
2. 想数“我 今天 去”后面接什么，这三个词得整串出现才行。它只出现了一次，“猫 今天 去”是 0 次。
3. 于是想个巧办法：只看前面一个词。只要数“去”后面出现过什么就行。
4. “去”后面，“学校”出现 3 次，“图书馆”出现 1 次。所以“学校”是 4 次里的 3 次，75%。
5. 每个词都这样数，就得到一张搭配频次表。这种只看前面几个词的方法叫 n-gram。
6. 只看这张表来造句试试。1948 年，香农也用这种办法造过英文句子。
7. 两两搭配都很自然，整句却很奇怪吧？因为只看前一个词，忘了主角是一只猫。
8. 往前多看几个词呢？词串越长，语料库里越难找到，常常是 0 次。第 39 章的神经网络会解决这个问题。

本章小结

• n-gram：只看前面几个词，在语料库里数下一个词出现的次数，定出概率。
• 两两搭配都自然，但会忘掉前面的内容，整句容易变得离谱。
• 往前看得越长，这样的词串在语料库里越少见，常常是 0 次。