AI 해부교실 · Part 7 GPT 공부시키기

65장 놀람의 크기

Q. 정답에 52%를 건 모델은 얼마나 틀린 걸까요? 틀린 정도를 숫자 하나로 잴 수 있을까요?

  1. 모델이 '나는 오늘 학교에' 다음으로 간다에 52%를 줬어요. 정답은 간다였어요. 모델은 얼마나 틀린 걸까요?
  2. 사람으로 치면 '놀람'이에요. 맞을 거라 믿은 일이 일어나면 별로 안 놀라고, 설마 했던 일이 일어나면 깜짝 놀라죠.
  3. 놀람을 숫자로 재 볼게요. 확실한 일(확률 1)이 일어나면 놀람 0. 확률이 반으로 줄 때마다 놀람이 1씩 커져요.
  4. 1/4이면 2, 1/8이면 3. 8이 되려면 2를 몇 번 곱해야 하는지 세는 거예요. 2 × 2 × 2 = 8, 그래서 3.
  5. 점을 이어 보면, 확률이 0에 가까울수록 놀람이 끝없이 치솟아요. 수학에선 이 계산을 로그라고 해요. 고2 때 배워요.
  6. 간다 52%를 재면 놀람은 약 0.94. 간다에 12%만 줬다면 약 3.06이에요. 정답에 많이 걸수록 덜 놀라요.
  7. 문제마다 놀람을 재서 평균 내면 교차 엔트로피(cross-entropy)예요. 이게 GPT의 손실, 학습은 이걸 줄이는 거예요.

한 장 요약