AI 해부교실 · Part 1 AI의 언어는 숫자

15장 크기 맞추기: 정규화

Q. 100점 만점 시험과 20점 만점 시험, 누가 더 잘한 걸까요?

  1. 수학 시험은 100점 만점, 체력장은 20점 만점이에요. 숫자 크기가 달라서 그냥은 비교가 안 되죠.
  2. 그래서 크기를 맞춰요. 첫째, 평균을 빼요. 평균 자리가 0이 되고, 평균보다 높은지 낮은지가 보여요.
  3. 둘째, 퍼진 정도로 나눠요. 퍼진 정도는 중학교 3학년 때 배운 표준편차예요. 이제 두 시험이 같은 잣대가 돼요.
  4. 수학 85점과 체력장 17점. 둘 다 평균보다 표준편차 1.5개만큼 높아요. 똑같이 잘한 거예요. 이렇게 맞추는 걸 정규화라고 해요.
  5. GPT에서도 벡터가 층을 지날 때마다 숫자가 점점 커지거나 작아질 수 있어요. 그래서 층마다 정규화로 크기를 다시 맞춰요.
  6. 57장에서 볼 레이어 정규화가 바로 이거예요. 수십 층을 쌓아도 계산이 흔들리지 않게 해 줘요.
  7. 평균을 빼고, 퍼진 정도로 나누기. 이걸로 Part 1 수학 도구상자가 완성됐어요!

한 장 요약