AI 해부교실 · Part 3 글자를 숫자로

30장 자주 붙는 조각 합치기

Q. 토큰 목록 20만 개, 누가 하나하나 정했을까요?

  1. 토큰 목록은 사람이 정하지 않아요. 글을 잔뜩 모아서, 자주 붙어 나오는 조각끼리 합쳐 만들어요. 이 방법이 BPE예요.
  2. 일기에서 모은 단어 다섯 개로 해 볼게요. 처음엔 글자 하나하나가 조각이에요. 나온 횟수까지 세면 조각은 56개.
  3. 이제 옆에 붙은 두 조각을 짝지어 세요. '했'과 '다'가 붙은 짝이 9번으로 가장 많아요.
  4. 가장 많은 짝을 한 조각으로 합쳐 목록에 올려요. 이제 '했다'가 새 토큰이에요. 조각은 47개로 줄었어요.
  5. 다시 세고, 또 합쳐요. 공부, 운동, 한다. 네 번 합치니 조각이 56개에서 29개로 줄었어요.
  6. 문법을 가르친 적이 없는데, '공부'와 '했다'가 따로 조각이 됐어요. 자주 나오는 덩어리를 셌을 뿐이에요.
  7. 그래서 처음 보는 '숙제했다'도 아는 조각으로 자를 수 있어요. 숙, 제, 했다. '청소한다'는 청, 소, 한다.
  8. GPT-4o 토크나이저도 이렇게 합쳐 약 20만 조각을 만들었어요. 그래서 '학교에'를 '학교'와 '에'로 잘라요.

한 장 요약