AI 해부교실 · Part 10 ChatGPT 이후의 세계

86장 눈을 가진 AI

Q. 글자만 읽던 AI가 어떻게 사진을 보고 설명할까요?

1. 요즘 AI는 사진을 보여 주면 무엇이 있는지 말해 줘요. 그런데 모델은 토큰(29장)을 읽는 기계예요. 사진은 어떻게 넣을까요?
2. 사진은 픽셀 숫자예요(6장). 64×64 작은 사진도 4,096픽셀. 픽셀 하나를 토큰 하나로 쓰면 줄이 너무 길어져요.
3. 그래서 사진을 바둑판처럼 잘라요. 가로세로 16픽셀짜리 조각, 패치예요. 64×64 사진은 4×4 = 16조각이 돼요.
4. 패치 하나는 16×16픽셀이고, 픽셀마다 빨강·초록·파랑 3개라서 숫자 768개예요. 이걸 행렬 곱(11장)으로 벡터 하나로 바꿔요.
5. 패치를 읽는 순서대로 줄 세우고, 자리 정보를 더해요(36장). 글자 토큰 줄과 똑같은 모양이 됐죠.
6. 2020년 논문 제목이 이 생각을 그대로 담았어요. 'An Image is Worth 16x16 Words'. 이름은 ViT예요.
7. 사진과 대화하는 AI도 많이들 사진 토큰 뒤에 글자 토큰을 이어 붙여 읽어요. 글과 사진을 함께 다루는 걸 멀티모달이라고 해요.

한 장 요약

• 사진을 16×16픽셀 조각(패치)으로 자르면, 조각 하나가 토큰 하나가 된다.
• 패치의 숫자 768개를 행렬 곱으로 벡터로 바꾸고, 자리 정보를 더한다.
• 사진 토큰과 글자 토큰을 한 줄로 읽으면 멀티모달 AI가 된다(ViT, 2020).