AI 해부교실 · Part 6 트랜스포머 조립하기

54장 트랜스포머 블록 설계도

Q. 5장 설계도 한가운데의 '트랜스포머 블록', 열어 보면 안에 뭐가 들어 있을까요?

1. 5장 설계도의 한가운데, 트랜스포머 블록을 확대해 볼게요. GPT는 이 블록을 여러 층 쌓은 기계예요.
2. 블록에는 단어 수만큼 벡터가 들어가요. 그리고 같은 개수, 같은 크기의 벡터가 나와요.
3. 첫 부품은 어텐션이에요. 단어들이 서로 쳐다보고 의미를 섞어요. 45장에서 배웠죠.
4. 두 번째는 피드포워드. 단어마다 따로 '생각'을 더해요. 다음 장에서 자세히 열어 볼게요.
5. 부품이 낸 결과는 원래 벡터에 더해요. 원래 정보가 곧게 달리는 이 길을 고속도로라고 불러요.
6. 부품에 들어가기 직전에는 정규화로 숫자 크기를 맞춰요. 15장에서 배운 바로 그 방법이에요.
7. 정리하면 정규화 → 어텐션 → 더하기, 정규화 → 피드포워드 → 더하기. 이게 블록 한 층이에요.
8. 들어간 모양 그대로 나오니까 블록을 계속 쌓을 수 있어요. GPT-3는 이 블록이 96층이에요.

한 장 요약

• 블록 한 층 = 정규화 → 어텐션 → 더하기, 정규화 → 피드포워드 → 더하기.
• 어텐션은 단어끼리 섞기, 피드포워드는 단어마다 생각하기. 결과는 원래 벡터에 더한다.
• 들어간 모양 그대로 나와서 계속 쌓을 수 있다. GPT-3는 96층.