AI 해부교실 · Part 3 글자를 숫자로

28장 컴퓨터 속 글자

Q. 한글은 11,172자나 되는데, 컴퓨터는 그 번호를 하나하나 외워서 붙였을까요?

  1. 6장에서 글자마다 번호가 있다고 했죠. '가'는 44032번. 오늘은 이 번호가 어떻게 정해지는지 봐요.
  2. 유니코드는 세계의 글자에 번호를 붙인 표예요. 'A'는 65, '中'은 20013, 웃는 이모지는 128512. 15만 자가 넘어요.
  3. 한글은 자음과 모음을 모아 한 글자를 만들어요. '한'은 첫소리 ㅎ, 가운뎃소리 ㅏ, 끝소리 ㄴ이 모인 글자예요.
  4. 첫소리 19개, 가운뎃소리 21개, 끝소리는 받침 없음까지 28가지. 곱하면 11,172자. 유니코드엔 전부 들어 있어요.
  5. 번호는 외운 게 아니라 공식으로 정해져요. '가'의 번호 44032에서 출발해, 소리마다 붙은 번호를 넣어 계산해요.
  6. ㅎ은 18번, ㅏ는 0번, ㄴ은 4번. 넣어 보면 44032 + 10584 + 4 = 54620. 진짜 '한'의 번호와 똑같아요.
  7. 그래서 번호가 1 늘면 받침이 바뀌어요. 가, 각, 갂, 갃, 간. 28 늘면 모음이, 588 늘면 첫소리가 바뀌어요.
  8. 저장 칸 하나(바이트)엔 0~255만 들어가서, 큰 번호는 나눠 적어요. 'A'는 1칸, '한'은 3칸. 이 바이트가 토큰의 재료예요.

한 장 요약