AI解剖课堂 · Part 10 ChatGPT 之后的世界

第 86 章 长了眼睛的 AI

Q. 原本只会读文字的 AI，是怎么看懂照片并描述出来的？

1. 现在给 AI 看一张照片，它能说出上面有什么。可模型是读词元（第 29 章）的机器，照片要怎么放进去呢？
2. 照片就是一堆像素数字（第 6 章）。64×64 的小照片也有 4,096 个像素。一个像素当一个词元，队伍就太长了。
3. 所以把照片像棋盘一样切开，每块长宽 16 像素，叫作图块（patch）。64×64 的照片切成 4×4 = 16 块。
4. 一个图块有 16×16 个像素，每个像素有红、绿、蓝 3 个数，一共 768 个数。再用矩阵乘法（第 11 章）把它变成一个向量。
5. 把图块按阅读顺序排成一行，再加上位置信息（第 36 章），就和文字词元的队伍一模一样了。
6. 2020 年一篇论文的标题就道出了这个想法：“An Image is Worth 16x16 Words”。它的名字叫 ViT。
7. 能和照片对话的 AI，很多也是把照片词元和文字词元接成一行来读。同时处理文字和图像，就叫多模态。

本章小结

• 把照片切成 16×16 像素的小块（图块），一块就成了一个词元。
• 图块里的 768 个数用矩阵乘法变成向量，再加上位置信息。
• 把照片词元和文字词元排成一行来读，就是多模态 AI（ViT，2020 年）。