AI 해부교실 · Part 8 ChatGPT의 탄생

74장 사람이 순위 매기기

Q. 모범 답안을 직접 쓰는 것보다 훨씬 쉬운 방법이 있을까요?

  1. 모범 답안을 쓰기는 어렵지만, 이미 있는 답 중 더 나은 걸 고르기는 쉬워요. 글짓기보다 채점이 쉬운 것처럼요.
  2. 그래서 모델에게 같은 질문의 답을 여러 개 쓰게 해요. 확률대로 뽑으니 답이 매번 달라요(2장).
  3. 사람은 답을 읽고 순위를 매겨요. B가 1등, C가 2등, 엉터리 조언을 한 A가 3등이에요.
  4. 이 순위를 둘씩 짝지은 비교로 바꿔요. B가 C보다, B가 A보다, C가 A보다 낫다. 이게 실제 학습 데이터 모양이에요.
  5. 답이 4개면 비교는 6쌍이 나와요. 순위 한 번으로 비교 데이터를 여러 개 얻는 셈이죠.
  6. 순위를 매기는 기준은 세 가지예요. 도움이 되나, 사실인가, 해롭지 않나. 이렇게 모은 걸 인간 선호 데이터라고 해요.
  7. 하지만 사람이 모든 답을 계속 채점할 수는 없어요. 그래서 이 데이터로 채점하는 AI를 만들어요. 다음 장이에요.

한 장 요약