AI 해부교실 · Part 1 AI의 언어는 숫자

14장 점수를 확률로: 소프트맥스

Q. 모델이 매긴 점수는 음수도 되고 합도 제각각이에요. 이걸 어떻게 확률로 바꿀까요?

  1. 모델은 다음 말 후보마다 점수를 매겨요. 점수는 3도 되고, −1 같은 음수도 될 수 있어요.
  2. 그런데 확률은 0보다 작으면 안 되고, 전부 더하면 1이 돼야 해요. 지금은 음수도 있고 합도 5예요.
  3. 첫 번째 단계. e를 점수만큼 거듭제곱해요. e는 약 2.718인 수예요. 이러면 모든 값이 양수가 돼요.
  4. 덤으로 큰 점수는 훨씬 더 커져요. 3점은 2점의 1.5배였는데, 바꾼 뒤에는 약 2.7배가 됐어요.
  5. 두 번째 단계. 바꾼 값을 전부 더하면 30.56이에요. 이제 각 값을 이 합으로 나눠요.
  6. 그러면 확률이 나와요. 간다 65.7%, 갔다 24.2%, 늦었다 8.9%, 피자 1.2%. 다 더하면 딱 100%예요.
  7. 이 두 단계를 합친 계산이 소프트맥스예요. 45장 어텐션에서 다시 만나니까 꼭 기억해 두세요.

한 장 요약