AI 해부교실 · Part 11 졸업 프로젝트

96장 졸업식

Q. 96장 동안 조립한 ChatGPT, 처음부터 끝까지 한 번에 따라가 볼까요?

1. 졸업식이에요. 5장에서 받은 빈칸투성이 설계도의 모든 칸이 채워졌어요. 처음부터 끝까지 날아가 볼까요?
2. '나는 오늘 학교에'가 들어오면 토크나이저가 조각으로 자르고(29장), 임베딩이 조각마다 의미 좌표를 붙여요(33장).
3. 위치 정보가 몇 번째인지 더해 주고(36장), 블록 안의 어텐션이 조각끼리 쳐다보며 의미를 섞어요(45장).
4. 피드포워드가 조각마다 생각을 더하고(55장), 이 블록을 수십 층 쌓아요. GPT-3는 96층이에요.
5. 마지막 벡터는 약 5만 개 토큰의 점수가 되고, 소프트맥스가 확률로 바꿔요(60장, 14장). 간다 52%, 갔다 21%.
6. 하나 뽑아 붙이고 다시 맨 위로(2장). 손잡이는 사전학습으로 맞추고, 대화하는 법은 모범 답안과 칭찬으로 배웠죠.
7. 그리고 여러분은 이 설계도로 미니 GPT를 직접 훈련시켰어요. 크기만 다를 뿐, 같은 기계예요.
8. AI 해부교실 96장을 모두 마쳤어요. 이제 ChatGPT가 어떻게 답하는지 설명할 수 있어요. 축하해요!

한 장 요약

• 토크나이저 → 임베딩 + 위치 → [어텐션 + 피드포워드] × N → 출력 + 소프트맥스 → 뽑아서 붙이기.
• 손잡이는 사전학습으로 맞추고, 대화는 모범 답안과 칭찬으로 배운다.
• 나도 같은 설계도로 미니 GPT를 훈련시켰다. 다른 건 크기뿐.