AI 해부교실 · Part 5 어텐션 완전 정복

53장 진짜 GPT 머릿속 들여다보기

Q. 진짜 GPT의 헤드들은 정말로 무언가를 '쳐다보고' 있을까요?

1. 드디어 진짜 GPT를 열어 볼게요. GPT-2 중 가장 작은 모델이에요. 층이 12개, 층마다 헤드가 12개, 모두 144개예요.
2. 영어 문장 하나를 넣고, 헤드 하나가 쳐다보는 비율을 지도로 그려요. 줄은 쳐다보는 단어, 칸은 쳐다보이는 단어예요.
3. 4층 11번 헤드예요. 모든 단어가 바로 앞 단어만 거의 100% 봐요. 그래서 대각선 바로 아래 칸만 진해요.
4. 7층 2번 헤드에서는 거의 모든 단어가 첫 단어 'The'를 봐요. 이 문장에서 144개 헤드 중 98개가 절반 넘게 첫 단어를 봤어요.
5. 같은 문장을 두 번 넣었어요. 5층 1번 헤드에서 두 번째 'my'는, 처음 'my' 다음에 온 'dog'를 51% 봐요.
6. 4층 3번 헤드에서는 'it'이 'cat'을 84% 쳐다봐요. 45장의 '그것은'처럼, 가리키는 대상을 찾는 것처럼 보여요.
7. Part 5에서 어텐션을 완전히 뜯어봤어요. Q · K 점수, √d와 소프트맥스, V 섞기, 행렬 계산, 가림막, 여러 헤드까지.
8. 이제 설계도의 어텐션 부품이 하는 일을 전부 알게 됐어요. Part 6에서는 부품들을 쌓아 트랜스포머 블록을 조립해요(54장).

한 장 요약

• 진짜 GPT-2(가장 작은 모델): 12층 × 헤드 12개 = 헤드 144개.
• 바로 앞 단어만 보는 헤드, 첫 단어에 몰리는 헤드, 앞의 흐름을 따라 하는 헤드가 실제로 있다.
• Part 5 끝: 점수(Q · K) → ÷ √d → 소프트맥스 → V 섞기. 가림막을 쓰고 여러 헤드로 계산한다.