AI解剖课堂 · Part 2 机器是怎样学习的

第 18 章 把层叠起来

Q. 一个神经元解决不了的问题，多凑几个神经元能解决吗？

1. 第 17 章的 V 字形边界怎么做？一个神经元只能画直线，所以把好几个神经元并排放，组成一层。
2. 第一层放两个神经元：一个算“辣度 − 3”，一个算“3 − 辣度”，再都用 ReLU 把负数折成 0。
3. 两个值加起来，就是“离 3 级有多远”。1 级和 5 级都是 2，2 级和 4 级都是 1。
4. 放到平面上看，就像沿着 3 级那条线把纸对折。左边的点翻到右边，叠在了一起。
5. 在折好的纸上，V 字被拉成了直线。现在下一层的一个神经元，用一条直线就能干净地分开。
6. 层叠得越多，就能折了再折。折两次是 W 字，折很多次，就能做出非常复杂的边界。
7. 像这样一层层叠起来的神经网络，叫作多层感知机（MLP）。GPT-⁠3 每层要用 49152 个这样的神经元。

本章小结

• 好几个神经元并排 = 一层。好几层接起来 = 多层感知机（MLP）。
• 两个 ReLU 神经元能把空间“折”起来，一折，V 字就变成直线。
• 层越深，就能折了又折，做出越复杂的边界。