AI 해부교실 · Part 5 어텐션 완전 정복

47장 관련도 점수

Q. '간다'의 질문과 '학교에'의 라벨이 얼마나 잘 맞는지, 숫자 하나로 잴 수 있을까요?

1. 46장에서 단어마다 Q, K 카드를 만들었어요. 이제 '간다'의 질문이 각 단어의 라벨과 얼마나 맞는지 점수를 매겨요.
2. 방법은 9장의 내적이에요. 같은 칸끼리 곱해서 더해요. '간다'의 Q (1, 2)와 '학교에'의 K (1, 1)은 1×1 + 2×1 = 3.
3. 화살표로 보면, 같은 쪽을 가리킬수록 점수가 커요. '오늘'의 K는 방향이 달라서 1×1 + 2×(−1) = −1이에요.
4. 나머지도 계산하면 '나는'은 2, 자기 자신 '간다'는 1. 이 네 숫자가 '간다'가 매긴 관련도 점수예요.
5. 다른 단어도 모두 질문을 던져요. 단어 4개가 4개씩 맞춰 보니, 16칸짜리 점수표가 채워져요.
6. 줄은 묻는 단어, 칸은 답하는 단어예요. 같은 줄끼리 비교해서 누구를 볼지 정해요. '나는' 줄에선 '오늘'이 1등이에요.
7. 그런데 점수는 음수도 있고, 줄마다 합도 제각각이에요. 다음 장에서 이 점수를 쳐다볼 비율로 바꿔요.

한 장 요약

• 관련도 점수 = Q · K (내적, 9장). 같은 칸끼리 곱해서 모두 더한다.
• 같은 쪽을 가리킬수록 크고, 반대쪽이면 음수가 된다.
• 모든 단어가 서로 점수를 매기면 점수표가 된다. 줄 = 묻는 단어, 칸 = 답하는 단어.