AI 해부교실 · Part 11 졸업 프로젝트

93장 내 토크나이저 만들기

Q. 내 데이터에 꼭 맞는 토큰은 어떻게 정할까요?

1. 모델은 글을 바로 못 읽고 토큰 번호만 읽어요(29장). 가장 쉬운 방법은 글자 하나를 토큰 하나로 삼는 거예요.
2. 속담 데이터를 글자로 자르면 토큰이 1,644개, 토큰 종류는 337가지예요. 띄어쓰기와 줄바꿈도 토큰이에요.
3. BPE는 낱말 안에서 붙어 나오는 두 조각을 세요(30장). 속담에서 가장 잦은 쌍은 '는'과 '다', 11번이에요.
4. 가장 잦은 쌍을 토큰 하나로 합쳐요. 토큰 종류는 338가지로 하나 늘고, 전체 토큰은 1,633개로 11개 줄어요.
5. 이걸 되풀이해요. 30번 합치면 토큰이 1,526개가 돼요. 같은 글을 더 적은 토큰으로 담는 거예요.
6. 많이 합칠수록 좋을까요? 토큰 수는 줄지만 종류가 늘어서, 모델이 익힐 임베딩도 늘어요. GPT-3는 약 5만 가지예요.
7. 직접 해보기에서 만든 토크나이저를 94장 미니 GPT가 그대로 써요. 한 번도 안 합치면 글자 하나가 토큰 하나예요.

한 장 요약

• 처음엔 글자 하나 = 토큰 하나. 속담은 토큰 1,644개, 337가지.
• BPE: 가장 잦은 쌍을 합치면 종류는 하나 늘고, 토큰 수는 준다.
• 내가 만든 토크나이저를 94장 모델이 쓴다. 안 합치면 글자 단위.