AI解剖教室 · Part 10 ChatGPT以後の世界
第86章 目を持ったAI
Q. 文字しか読めなかったAIが、どうやって写真を見て説明できるのでしょう？
- 最近のAIは、写真を見せると何が写っているか教えてくれます。でもモデルはトークン（第29章）を読む機械。写真はどう入れるのでしょう？
- 写真はピクセルの数字です（第6章）。64×64の小さな写真でも4,096ピクセル。1ピクセルを1トークンにすると、列が長くなりすぎます。
- そこで写真を碁盤の目のように切ります。縦横16ピクセルのかけら、パッチです。64×64の写真は4×4 = 16かけらになります。
- パッチ1つは16×16ピクセルで、1ピクセルに赤・緑・青の3つなので、数字は768個。これを行列の積（第11章）でベクトル1つに変えます。
- パッチを読む順に並べて、位置情報を足します（第36章）。文字のトークンの列と、まったく同じ形になりました。
- 2020年の論文の題名が、この考えをそのまま表しています。「An Image is Worth 16x16 Words」。名前はViTです。
- 写真と会話するAIの多くも、写真トークンのあとに文字トークンをつなげて読みます。文章と写真をいっしょに扱うのがマルチモーダルです。
この章のまとめ
- 写真を16×16ピクセルのかけら（パッチ）に切ると、かけら1つが1トークンになる。
- パッチの数字768個を行列の積でベクトルに変え、位置情報を足す。
- 写真トークンと文字トークンを1列で読めば、マルチモーダルAIになる（ViT、2020年）。