AI 해부교실 · Part 3 글자를 숫자로

31장 한국어는 토큰이 많다?

Q. 같은 말을 해도 한국어로 하면 AI 요금이 더 나온다는데, 정말일까요?

1. 같은 뜻의 문장을 한국어와 영어로 써 놓고, 토큰 수를 세어 봐요. 토큰 수는 AI가 읽고 써야 하는 양이에요.
2. GPT-3의 토크나이저로 자르면 영어는 7조각인데, 한국어는 28조각이에요. 같은 뜻인데 4배나 많아요.
3. 점선 조각이 많죠? 한글 한 글자는 3바이트예요(28장). 이 토크나이저는 한글을 거의 바이트 하나하나로 잘랐어요.
4. GPT-3 토크나이저는 거의 영어로 된 글로 만들어서, 조각 5만 개 중에 한글 글자 조각이 하나도 없어요.
5. 토큰이 많으면 손해예요. 요금도 토큰 수로 매기고, 한 번에 읽는 양도 토큰 수로 정해지고, 답도 느려져요.
6. 새 토크나이저는 한글 조각을 많이 배웠어요. 같은 문장이 GPT-4에선 14조각, GPT-4o에선 7조각. 영어와 같아졌어요.
7. 긴 글로 재 보면 GPT-4o에서도 한국어가 1.4배쯤 많아요. GPT-3 때 약 5배였던 것에 비하면 많이 줄었죠.
8. 한국어는 토큰이 많다? 예전엔 훨씬 많았고, 지금은 조금 많아요. 토크나이저가 어떤 글로 배웠는지에 달렸어요.

한 장 요약

• 같은 뜻이라도 언어마다 토큰 수가 다르다. 요금·읽는 양·속도가 토큰 수로 정해진다.
• GPT-3 토크나이저는 영어 글로 만들어져 한글을 바이트 단위로 잘게 잘랐다.
• 한글 조각을 많이 배운 GPT-4o에선 차이가 확 줄었다(긴 글 기준 약 5배 → 약 1.4배).