AI解剖课堂 · Part 2 机器是怎样学习的

第 17 章 要会拐弯：激活函数

Q. 火锅要辣得刚刚好才最好吃，神经元能看出这一点吗？

1. 把价格相同的 13 家店，按辣度和排队画成点。圆圈是朋友们选出的好吃的店，叉是一般的店。
2. 第 16 章的神经元用一条直线把平面分开。可是不管怎么移动、转动直线，至少都有两家会判断错。
3. 神经元只会相乘再相加，所以边界永远是直线。把几个神经元连起来也一样：直线加直线，还是直线。
4. 所以要把神经元的输出折一下。ReLU 遇到负数输出 0，遇到正数原样输出。这种装置叫作激活函数。
5. 用折线就能做出 V 字形的边界，好吃的店和一般的店被干净地分开了。做法在第 18 章。
6. GPT 用的是把 ReLU 磨圆的 GELU。0 附近是圆滑的，负数那边会稍微往下沉一点，再回到 0。
7. 没有激活函数，叠多少层都等于一条直线。能折弯，才学得会复杂的形状。

本章小结

• 一个神经元（相乘再相加）的边界永远是直线。直线 + 直线 = 直线。
• 激活函数 = 把输出折弯的装置。ReLU：负数变 0，正数原样输出。
• GPT 用的是磨圆的 ReLU：GELU。能折弯，才学得会复杂的形状。