AI解剖课堂

用 96 章动画和动手实验，带高中生一步步弄懂 ChatGPT 是怎样造出来的：词元、嵌入、注意力、训练、RLHF。

第 1 章猜下一个词游戏 ChatGPT 听完问题，是一下子就想好整个回答的吗？
第 2 章一个词一个词往下写的 AI ChatGPT 的回答，为什么像打字一样一段一段冒出来？
第 3 章 AI 七十年时间线 AI 是和 ChatGPT 一起突然出现的吗？
第 4 章靠规则 vs 靠数据过滤垃圾短信的程序，要怎么做出来？
第 5 章我们要组装的设计图打开 ChatGPT 这台机器，里面到底装着什么？
第 6 章一切都是数字电脑是怎样记住照片、歌曲和文字的？
第 7 章向量：一串数字我和朋友的口味有多像，能用数字表示出来吗？
第 8 章离得近就相似能用数字找出和自己口味相近的同学吗？
第 9 章点积：方向有多一致？两支箭头有多指向同一边，能用一个数字表示吗？
第 10 章矩阵：一捆向量有没有办法一次处理好多个向量？
第 11 章矩阵乘法 = 空间变换把矩阵乘到向量上，会发生什么？
第 12 章函数是输入→输出的机器听说 AI 模型说到底也是一个“函数”，这是什么意思？
第 13 章概率分布 “大概会下雨吧”，用数字该怎么说？
第 14 章把分数变成概率：Softmax 模型打的分数可以是负数，加起来也不一定是 1。怎样把它们变成概率？
第 15 章统一大小：归一化满分 100 的考试和满分 20 的考试，谁考得更好？
第 16 章一个神经元新开了一家火锅店，AI 怎么判断它好不好吃？
第 17 章要会拐弯：激活函数火锅要辣得刚刚好才最好吃，神经元能看出这一点吗？
第 18 章把层叠起来一个神经元解决不了的问题，多凑几个神经元能解决吗？
第 19 章前向传播把数字放进神经网络，里面会发生什么？
第 20 章错了多少：损失知道 AI 错了，可是错了“多少”，要怎么量？
第 21 章梯度下降想让损失变小，旋钮该往哪边转、转多少？
第 22 章决定步子大小：学习率下山的时候，一步该迈多大？
第 23 章反向传播：分摊责任旋钮有几十亿个，猜错的时候，该改哪个、改多少？
第 24 章把练习册分开做一本有几百万道题的练习册，是做一道改一次，还是全做完再一起改？
第 25 章只背真题的学生练习题全对，一考试就错的 AI，问题出在哪？
第 26 章动手试试：手写数字我用手指写的数字，神经网络真的认得出来吗？
第 27 章 Part 2 Boss 战把学过的东西全用上，能从零开始训练一个神经网络吗？
第 28 章计算机里的文字汉字有好几万个，计算机是怎么给它们一个个编号的？
第 29 章词元：AI 读文字的单位 ChatGPT 读文章，是一个字一个字地读，还是一个词一个词地读？
第 30 章把常挨在一起的片段合并词表里有 20 万块，难道是有人一块一块定出来的？
第 31 章中文的词元更多吗？听说同样的话用中文说，AI 的费用会更高，这是真的吗？
第 32 章编号的局限每个词元都有编号，直接把编号送进模型不行吗？
第 33 章嵌入：意义的坐标 “小狗”和“小猫”很像，这件事要怎么用数字表示？
第 34 章周围的词透露意思从来没人教过 AI 词的意思，它怎么知道“咖啡”和“绿茶”很像？
第 35 章探索嵌入宇宙在词语地图上，“小狗”旁边住着谁？“包”又在哪儿？
第 36 章怎么知道顺序？ “10点11分”和“11点10分”的词元一模一样，AI 怎么知道它们不同？
第 37 章语言模型 = 句子的概率 AI 怎么知道哪句话说得“自然”？
第 38 章只看前面几个词早期的 AI 是怎么算出“下一个词的概率”的？
第 39 章神经网络语言模型一句从来没见过的话，AI 怎么猜出下一个词？
第 40 章 RNN：传纸条接力句子有长有短，AI 怎么一边读一边记住前面的内容？
第 41 章 RNN 的局限既然传纸条接力这么好，为什么 ChatGPT 不用 RNN？
第 42 章翻译器的结构两种语言的语序和长度都不一样，AI 是怎么翻译的？
第 43 章注意力的诞生如果翻译时可以回头再看原文，AI 翻译会好多少？
第 44 章 Attention Is All You Need 成为 ChatGPT 骨架的那篇论文，为什么说“只要注意力就够了”？
第 45 章词与词互相看 “包”是吃的包子，还是背的包？AI 是怎么分辨的？
第 46 章 Query · Key · Value 句子里的词，是怎么决定要看谁的？
第 47 章相关度分数 “学校”的问题和“去”的标签有多合得来，能用一个数字量出来吗？
第 48 章先除再 Softmax 相关度分数直接做 Softmax 不行吗？为什么偏要先除一下？
第 49 章混合出新意思知道了看每个词的比例，那要按这个比例拿走什么、怎么拿？
第 50 章一次全算完要是有 1,000 个词，第 47～49 章的计算难道要分开做 1,000 遍？
第 51 章别偷看未来要练习猜下一个词，却能提前看到那个词，这样还学得到东西吗？
第 52 章用很多双眼睛看 “学校”既想知道谁去，也想知道什么时候去。只看一次够吗？
第 53 章看看真 GPT 的脑袋里真正的 GPT 里，那些头真的在“看”着什么吗？
第 54 章 Transformer 模块设计图第 5 章设计图正中间的“Transformer 模块”，打开来看，里面装着什么？
第 55 章会思考的层通过注意力，词与词分享了信息。接下来，每个词要做什么？
第 56 章信息高速公路经过 96 层之后，最初那句话的信息会不会全被抹掉？
第 57 章稳住波动结果一直往上加，到了第 96 层，数字会不会变得特别大？
第 58 章把模块叠起来一个模块就能运转，为什么要叠 96 个？
第 59 章编码器 vs 解码器 ChatGPT 里的“GPT”和谷歌的“BERT”都是 Transformer，它们有什么不同？
第 60 章从向量到词经过 96 层出来的，是一个有 12,288 个数字的向量。怎样把它变成“学校”这个词？
第 61 章从头到尾走一遍 ChatGPT 写出一个词的时候，里面到底发生了什么？
第 62 章 Part 6 Boss 战：设计图完成部件都集齐了。能按正确的顺序组装起来，完成 GPT 吗？
第 63 章教科书是互联网 ChatGPT 到底是用什么书学习的？
第 64 章没有答案的学习互联网上的文字没有标准答案，GPT 是靠什么判对错的？
第 65 章惊讶有多大模型给正确答案押了 52%，它算错了多少？能不能用一个数字来衡量错的程度？
第 66 章训练循环转一圈几千亿道题，GPT 是按什么顺序学的？
第 67 章更聪明的下坡只看坡度往下走的球，为什么会迷路？
第 68 章为什么是 GPU？ AI 公司为什么不买普通电脑，而是大量购买“显卡”？
第 69 章 GPT-1 → 2 → 3 从 GPT-1 到 GPT-3，两年里变大了多少？
第 70 章越大越聪明把模型变大 10 倍，会好多少？能不能事先知道？
第 71 章只看例子也能学会一个数字都没改，模型能学会新本事吗？
第 72 章聪明却不听话的模型读了海量网络文字的模型，你问它问题，它会马上回答吗？
第 73 章照着标准答案学不听话的模型，怎样教它“回答问题”？
第 74 章人来排名次有没有比亲手写示范答案轻松得多的办法？
第 75 章 AI 评分员如果有个 AI 能代替人给答案打分，会怎么样？
第 76 章用表扬来打磨如果“好的回答”没法用话说清楚，该怎么教？
第 77 章对话其实是一份长文档 ChatGPT 怎么分清哪句是我说的，哪句是它自己说的？
第 78 章 2022 年 11 月 30 日 ChatGPT 是怎样在五天里吸引到 100 万人的？
第 79 章打造安全的 AI AI 应该拒绝哪些请求？拒绝得太多又会怎样？
第 80 章挑选的方法直接挑概率最高的词不就行了吗？
第 81 章创造力旋钮 AI 的“创造力”能用一个数字来调吗？
第 82 章缩小候选范围转盘上有“披萨”这一格，总有一天会真的抽中“披萨”吧？
第 83 章 AI 的记忆上限和 ChatGPT 聊久了，它有时会忘记一开始说过的话。这是为什么？
第 84 章一本正经地胡说 AI 说得很有把握，就一定是事实吗？
第 85 章懂了结构就看懂提示词同样的事，换个问法，回答就不一样了，这是为什么？
第 86 章长了眼睛的 AI 原本只会读文字的 AI，是怎么看懂照片并描述出来的？
第 87 章先思考再回答给 AI 出难题时，它会显示“思考中…”。这段时间它在干什么？
第 88 章先查资料再回答像我们学校文化节的日期这种 AI 从没学过的事，该怎么问它？
第 89 章长出手脚的 AI 只会写字的 AI，是怎么按计算器、还能上网搜索的？
第 90 章我手机里的 AI 那么庞大的 AI，怎么能不联网就在我的手机里运行？
第 91 章 AI 与我们 AI 画的画归谁？在 AI 时代，我该准备些什么？
第 92 章设计迷你 GPT 把 ChatGPT 缩到非常小，我能亲手做一个吗？
第 93 章做我自己的分词器最适合我这份数据的词元，该怎么定？
第 94 章在浏览器里训练模型到底是怎么学会的？在我的手机里亲眼看一看。
第 95 章来生成吧我训练的模型会写出什么样的句子？
第 96 章毕业典礼 96 章组装起来的 ChatGPT，从头到尾一口气走一遍吧？