AI解剖课堂 · Part 0 ChatGPT，你是谁？

第 2 章 一个词一个词往下写的 AI

Q. ChatGPT 的回答，为什么像打字一样一段一段冒出来？

1. 发出问题后，回答是一段一段冒出来的。这不是为了好看，而是它真的在一段一段地生成。
2. 看看机器内部：问题加上目前写好的回答，也就是整段文字，送进模型，就会出来下一个片段。
3. 出来的片段接到文字末尾，变长的文字再送回模型。这种读着自己写的内容往下写的方式，叫作自回归。
4. 那什么时候停呢？抽到一个表示“到此结束”的特殊片段时就停。它叫作结束词元。
5. 回答有 9 个片段，就要运行模型 9 次；100 个片段就是 100 次。所以回答越长，花的时间越久。
6. 而且，已经接上的片段不会删掉。前面说错了，改正的话也只能接着往后写。
7. 同一个问题，每次的回答都略有不同，是因为片段是按概率抽出来的。第 81 章会详细讲。

本章小结

• 把整段文字送进去，就会出来下一个片段。
• 把出来的片段接上，再送进去，直到出现结束词元。
• 有几个片段就运行几次模型，接上的片段不会删掉。