AI 해부교실 · Part 11 졸업 프로젝트

94장 브라우저에서 훈련하기

Q. 모델은 진짜로 어떻게 배울까요? 내 폰 안에서 직접 지켜봐요.

  1. 드디어 훈련이에요. 처음 미니 GPT의 손잡이 24,529개는 아무렇게나 정해져 있어서, 글자를 마구 찍어요.
  2. 훈련 한 걸음은 이래요. 데이터에서 24토큰짜리 조각 8개를 꺼내, 자리마다 다음 토큰을 맞혀 보게 해요(64장).
  3. 틀린 만큼 손실이 나와요(65장). 처음 손실은 약 5.8, 337가지 중 아무거나 찍을 때의 놀람과 같아요.
  4. 역전파로 손잡이마다 책임을 계산하고(23장), 손실이 줄어드는 쪽으로 살짝 돌려요. 이게 훈련 한 걸음이에요.
  5. 이 한 바퀴를 1,500번 돌면 손실이 쭉 내려가요. 475걸음에 2 아래로, 850걸음에 1 아래로 내려갔어요.
  6. 그동안 모델이 쓴 문장도 달라져요. 100걸음엔 엉터리, 500걸음엔 낱말이 보이고, 1,500걸음엔 속담 같아요.
  7. 단, 오래 훈련하면 데이터를 통째로 외워요. 1,500걸음 모델이 쓴 80줄 중 35줄은 외운 문장이었어요(25장).
  8. 이제 직접 해보기에서 훈련 버튼을 눌러 보세요. 서버 없이, 폰 안에서 진짜 계산이 돌아가요.

한 장 요약