AI解剖课堂 · Part 1 AI 的语言是数字

第 15 章统一大小：归一化

Q. 满分 100 的考试和满分 20 的考试，谁考得更好？

数学考试满分 100，体测满分 20。数字的大小不一样，直接比是比不了的。
所以要统一尺度。第一步，减去平均分。平均分的位置变成 0，一眼就能看出比平均高还是低。
第二步，除以分散的程度。分散程度就是统计里学的标准差。这样两种考试就用上了同一把尺子。
数学 85 分和体测 17 分，都比平均高出 1.5 个标准差，一样优秀。这样统一尺度，就叫归一化。
在 GPT 里，向量每经过一层，数字都可能越变越大或越变越小。所以每一层都要用归一化重新调整大小。
第 57 章要讲的层归一化就是它。叠上几十层，计算也不会乱掉。
减去平均，再除以分散程度。到这里，Part 1 的数学工具箱就齐了！

本章小结

① 减去平均：平均的位置变成 0。
② 除以标准差：分散程度统一成 1。
GPT 每一层都做归一化，防止数字失控（第 57 章）。