AI 해부교실 · Part 11 졸업 프로젝트

92장 미니 GPT 설계하기

Q. ChatGPT를 아주 작게 줄이면, 내 손으로 직접 만들 수 있을까요?

  1. 드디어 졸업 프로젝트예요. 지금까지 배운 부품으로 진짜 작은 GPT를 만들어, 내 폰에서 직접 훈련시킬 거예요.
  2. 순서는 네 단계예요. 데이터를 고르고, 토크나이저를 만들고, 훈련시키고, 마지막으로 글을 써 봐요.
  3. 설계도는 GPT-3와 똑같아요(5장). 다만 블록은 96층 대신 1층, 토큰 벡터는 12,288칸 대신 32칸이에요.
  4. 어텐션 헤드도 1개, 한 번에 읽는 글은 24토큰이에요. 토큰 종류는 337가지면 돼요. 속담에 쓰인 글자가 딱 그만큼이거든요.
  5. 손잡이(파라미터)를 세면 GPT-3는 1,750억 개, 미니 GPT는 24,529개예요. 약 700만 분의 1이죠.
  6. 그래도 하는 일은 같아요. 글을 읽고 다음 조각의 확률을 내요. 미리 훈련해 본 미니 GPT의 진짜 답이에요.
  7. 속담을 읽히면 속담을, 동요를 읽히면 노랫말을, 교과서 문장을 읽히면 설명문을 써요. 모델은 읽은 글을 닮아요.
  8. 데이터는 약 4KB, 토큰 1,600개쯤이에요. GPT-3가 읽은 3,000억 토큰에 비하면 티끌이지만 충분해요. 골라 볼까요?

한 장 요약