AI 해부교실 · Part 6 트랜스포머 조립하기

62장 Part 6 보스전: 설계도 완성

Q. 부품을 다 모았어요. 올바른 순서로 조립해서 GPT를 완성할 수 있을까요?

1. Part 6에서 블록 부품을 하나씩 모았어요. 이제 전부 조립해서 설계도를 완성해 볼까요?
2. 블록 한 층부터. 정규화 → 어텐션 → 더하기, 다시 정규화 → 피드포워드 → 더하기.
3. 이 블록을 96층 쌓아요. 고속도로와 정규화 덕분에 깊이 쌓아도 흔들리지 않아요.
4. 앞에는 토크나이저, 임베딩, 위치 정보가 글을 벡터로 바꿔서 넣어 줘요(Part 3).
5. 뒤에는 출력 + 소프트맥스가 다음 말의 확률을 내고, 하나를 뽑아 글 끝에 붙여요.
6. 설계도의 기계 부분이 모두 채워졌어요! 글을 넣으면 다음 말이 나오는 GPT가 완성됐어요.
7. 그런데 부품 속 숫자 1,750억 개는 아직 엉망이에요. Part 7에서는 이 숫자들을 공부시켜요. 사전학습이에요.

한 장 요약

• 블록 한 층: 정규화 → 어텐션 → 더하기 → 정규화 → 피드포워드 → 더하기. 이걸 96층 쌓는다.
• 설계도: 토크나이저 → 임베딩 → 위치 정보 → 블록 × 96 → 출력 + 소프트맥스 → 뽑아서 붙이기.
• 기계는 완성! 다음은 숫자 1,750억 개를 공부시키는 사전학습(Part 7).