AI 해부교실 · Part 3 글자를 숫자로

29장 토큰: AI의 글자 단위

Q. ChatGPT는 글을 한 글자씩 읽을까요, 한 단어씩 읽을까요?

1. ChatGPT는 글을 읽기 전에 먼저 잘게 잘라요. 이 조각을 토큰, 자르는 부품을 토크나이저라고 해요.
2. 글자 단위로 자르면 어떨까요? 조각이 너무 많아지고, '는' 같은 글자 하나에는 뜻이 거의 없어요.
3. 단어 단위는요? 세상에 단어는 끝없이 많고, '어쩔티비' 같은 새 말은 목록에 없어서 읽을 수가 없어요.
4. 그래서 그 중간으로 잘라요. 실제 GPT-4o 토크나이저는 이 문장을 7조각으로 잘라요. 띄어쓰기는 뒷말에 붙어요.
5. 조각마다 번호가 있어요. 띄어쓰기가 붙은 '학교'는 136975번. 모델이 실제로 받는 건 글이 아니라 이 번호 줄이에요.
6. 조각 목록을 어휘라고 해요. GPT-3는 약 5만 개, GPT-4o는 약 20만 개의 조각을 알고 있어요.
7. 드문 말은 아는 작은 조각으로 나눠요. unbelievable은 세 조각, 어쩔티비는 다섯 조각. 그래서 못 읽는 말이 없어요.
8. 글을 조각내고 번호를 붙이는 토크나이저, 설계도의 첫 부품이 채워졌어요. 이 조각 목록은 어떻게 만들까요?

한 장 요약

• 토큰: AI가 글을 읽는 조각. 글자보다 크고 단어보다 작을 때가 많다.
• 자주 나오는 덩어리는 한 조각, 드문 말은 작은 조각 여러 개.
• 조각마다 번호가 있고, 모델은 이 번호 줄을 받는다. 조각 목록 = 어휘.