AI 해부교실 · Part 5 어텐션 완전 정복

46장 Query · Key · Value

Q. 단어는 문장 속에서 누구를 볼지 어떻게 정할까요?

  1. 45장에서 '배'는 관련 깊은 단어를 더 많이 쳐다봤어요. 그 '관련'을 재는 방법은 도서관에서 책 찾기와 닮았어요.
  2. 도서관에 가면 먼저 찾고 싶은 게 있죠. '학교 가는 이야기 없나?' 이 질문 카드가 Query예요.
  3. 책 등에는 라벨이 붙어 있어요. 질문과 라벨을 맞춰 보고, 잘 맞는 책을 골라요. 이 라벨이 Key예요.
  4. 고른 책을 펼치면 내용이 있어요. 실제로 가져오는 정보, 이게 Value예요. 라벨로 고르고, 내용을 가져와요.
  5. 문장 속 단어도 똑같아요. 단어마다 카드를 세 장씩 들고 있어요. 묻는 Q, 나를 알리는 K, 건네줄 V.
  6. '간다'의 질문은 '누가? 어디로?' 같은 거예요. '학교에'의 라벨과 잘 맞으니, '학교에'의 내용을 많이 가져와요.
  7. 카드는 단어 벡터에 행렬을 곱해서 만들어요(11장). '간다'의 벡터 (1, 1)에 세 행렬을 곱하면 Q, K, V가 나와요.
  8. 행렬 속 숫자는 학습으로 정해져요. 질문과 라벨이 얼마나 맞는지는 다음 장에서 9장의 내적으로 재 봐요.

한 장 요약