AI 해부교실 · Part 7 GPT 공부시키기

71장 예시만 보여줘도 배운다

Q. 숫자를 하나도 안 고쳤는데, 모델이 새 일을 배울 수 있을까요?

  1. GPT-3를 소개한 2020년 논문의 제목은 '언어 모델은 퓨샷 학습자'예요. 예시 몇 개만 보고 새 일을 해낸다는 뜻이에요.
  2. '빠르다 →'만 주면 모델은 뭘 원하는지 몰라요. 반대말을 원했는데, '빠르게 달린다'처럼 그냥 글을 이어 쓰기 쉬워요.
  3. 앞에 예시 하나를 붙여 볼게요. '크다 → 작다'. 이제 화살표 뒤에 반대말이 온다는 걸 눈치채기 시작해요.
  4. 예시를 세 개 붙이면 '느리다'가 거의 확실해져요. 놀랍게도 모델 안의 숫자는 하나도 안 바뀌었어요.
  5. 이게 인컨텍스트 러닝이에요. 66장처럼 숫자를 고치는 학습이 아니라, 프롬프트 속 예시에서 규칙을 읽어 내는 거예요.
  6. 예시 개수에 따른 정답률을 그려 보면, 예시가 늘수록 올라가요. 그리고 큰 모델일수록 예시 덕을 더 많이 봐요.
  7. 예시 없이 주면 제로샷, 하나면 원샷, 여러 개면 퓨샷이에요. 예시를 넣는 요령은 85장 프롬프트에서 또 써먹어요.
  8. Part 7에서 GPT를 공부시켰어요. 교과서, 다음 조각 맞히기, 놀람 줄이기, 훈련 고리, 크기의 힘. 다음은 대화를 배울 차례!

한 장 요약