AI 해부교실 · Part 5 어텐션 완전 정복

49장 섞어서 새 의미 만들기

Q. 쳐다볼 비율을 알았어요. 그럼 그 비율로 무엇을, 어떻게 가져올까요?

  1. 48장에서 '간다'가 쳐다볼 비율이 나왔어요. 학교에 55.7%, 나는 27.5%, 간다 13.5%, 오늘 3.3%.
  2. 이제 각 단어의 Value, 책 내용을 꺼내요. 단어마다 건네줄 정보를 담은 벡터예요. 색으로 구별해 볼게요.
  3. 물감을 섞는다고 생각해 봐요. 비율만큼 물감을 짜서 한 컵에 부어요. 학교에 물감이 가장 많이 들어가요.
  4. 숫자로는 비율 × Value를 모두 더해요. 예를 들어 '학교에'의 몫은 0.557×(3, 2). 네 단어의 몫을 다 더해요.
  5. 결과는 약 (2.25, 1.52). 문맥을 섞어 새로 만든 '간다'의 벡터예요. '학교에'의 정보가 가장 많이 담겼어요.
  6. 비율의 합이 1이라서, 섞은 결과는 언제나 Value들 사이 어딘가에 놓여요. 많이 본 단어 쪽으로 끌려가요.
  7. 45장에서 '배'가 타는 배 쪽으로 움직인 게 바로 이 계산이에요. 비율대로 곱해서 더하기, 이걸 가중합이라고 해요.
  8. 지금까지는 '간다' 한 단어만 계산했어요. 다음 장에서는 모든 단어를 행렬로 한꺼번에 계산해요.

한 장 요약