AI 해부교실 · Part 1 AI의 언어는 숫자

9장 내적: 얼마나 같은 방향?

Q. 두 화살표가 얼마나 같은 쪽을 가리키는지, 숫자 하나로 나타낼 수 있을까요?

  1. 두 벡터가 얼마나 닮았는지 재는 또 하나의 방법, 내적이에요. 계산은 간단해요. 같은 칸끼리 곱해서 전부 더해요.
  2. 민지 (8, 3)과 서연 (7, 4). 8 곱하기 7은 56, 3 곱하기 4는 12. 둘을 더한 68이 내적이에요.
  3. 민지와 준호 (2, 9)는? 8 곱하기 2는 16, 3 곱하기 9는 27, 합은 43. 서연보다 작아요. 방향이 덜 닮았거든요.
  4. 화살표를 돌려 보면, 같은 쪽을 가리킬수록 내적이 커져요. 직각이 되면 0, 반대쪽을 가리키면 음수가 돼요.
  5. 화살표가 길어지면 내적도 커져요. 내적에는 방향이 얼마나 같은지와 얼마나 강한지가 함께 담겨요.
  6. GPT의 어텐션은 이 내적으로 단어끼리 얼마나 관련 있는지 점수를 매겨요. 47장에서 다시 만나요.
  7. 같은 칸끼리 곱하고 모두 더하기. 트랜스포머가 가장 많이 하는 계산 중 하나예요.

한 장 요약