AI解剖课堂 · Part 4 Transformer 之前的故事

第 37 章 语言模型 = 句子的概率

Q. AI 怎么知道哪句话说得“自然”？

1. 看两句话：“我今天去学校”和“我今天去披萨”。哪一句更自然？
2. 语言模型就是给每句话打分的机器：用概率表示它“有多像真会出现的话”。ChatGPT 也是语言模型。
3. 可是整句整句地数很难，第一次见到的句子实在太多了。所以要拆成一个词一个词来算。
4. 第一个词是“我”的概率，后面接“今天”的概率……看着前面的词，一个一个求出下一个词的概率。
5. 把这些概率依次乘起来，就是整句话的概率：20% × 25% × 10% × 52% = 0.26%。
6. “披萨”那句只有最后一个词是 1%，结果是 0.005%。前面完全一样，只因最后一个词就差了 52 倍。
7. 所以，越会猜下一个词的模型，也越会给句子打分。第 1 章的“猜下一个词”说的就是这个。
8. 那这些概率从哪儿来？最简单的办法是数一数。第 38 章我们亲手来数。

本章小结

• 语言模型：用概率给句子打分，看它有多像真会出现的话。
• 句子的概率 = 看着前面的词求出的下一个词的概率，依次相乘。
• 会猜下一个词的模型 = 会给句子打分的模型（第 1 章）。