AI 해부교실 · Part 5 어텐션 완전 정복

52장 여러 눈으로 보기

Q. '간다'는 누가 가는지도, 어디로 가는지도 알아야 해요. 한 번 쳐다보는 걸로 충분할까요?

1. 한 문장 안에도 관계는 여러 가지예요. 누가 하는지, 언제인지, 어디로 가는지.
2. 그런데 어텐션 한 번은 비율을 한 가지로만 정해요. 그래서 Q, K, V 세트를 여러 개 만들어요. 한 세트를 헤드(head)라고 해요.
3. 예를 들어 헤드 1은 '누가'를, 헤드 2는 '언제'를, 헤드 3은 '어디로'를 찾아요. 같은 '간다'인데 보는 곳이 달라요.
4. 헤드들은 서로 기다리지 않고 동시에, 따로따로 계산해요. 각자 '간다'의 새 벡터를 하나씩 내놓아요.
5. 결과들을 옆으로 이어 붙이고, 행렬을 한 번 더 곱해서 하나로 섞어요. 여러 눈으로 본 정보가 한 벡터에 모여요.
6. GPT-3는 층마다 헤드가 96개, 헤드 하나는 128칸이에요. 96 × 128 = 12,288, 단어 벡터의 크기와 딱 맞아요.
7. 어떤 헤드가 무엇을 볼지는 사람이 정하지 않아요. 학습하면서 저절로 나뉘어요. 53장에서 진짜 헤드를 들여다봐요.

한 장 요약

• Q, K, V 한 세트 = 헤드 하나. 헤드마다 보는 관계가 다르다.
• 헤드들은 동시에 계산하고, 결과를 이어 붙여 행렬로 한 번 더 섞는다.
• GPT-3: 층마다 헤드 96개 × 128칸 = 12,288. 역할은 학습으로 저절로 나뉜다.