AI解剖课堂 · Part 1 AI 的语言是数字
第 10 章 矩阵:一捆向量
Q. 有没有办法一次处理好多个向量?
- 把三位同学的口味向量上下叠起来,就得到了一张数字表。
- 这种把数字横竖排开的表,叫作矩阵。以后学线性代数,它可是主角。
- 横着的一排叫行,竖着的一列叫列。3 位同学、2 种口味,就是 3 行 2 列,叫作 3 × 2 矩阵。
- 一行是一位同学的向量,一列是大家对同一种口味的分数。同一张表可以从两个方向读。
- 句子也能变成矩阵。“我 今天 去”的每个片段都有一个向量,叠起来就是 3 行的矩阵。
- GPT 里几乎所有计算都用矩阵来做。以 GPT-3 为例,每一层都要处理“片段数 × 12288”的矩阵。
- 矩阵就是一次装下很多向量的容器。下一章,看看矩阵乘法在做什么。
本章小结
- 矩阵:把数字横竖排开的表,也就是叠起来的向量。
- 横排 = 行,竖排 = 列。大小写成“行 × 列”。
- 句子 = “片段数 × 向量长度”的矩阵。GPT 的计算几乎都是矩阵。