AI 해부교실 · Part 8 ChatGPT의 탄생

76장 칭찬으로 다듬기

Q. '좋은 대답'을 말로 다 설명할 수 없다면, 어떻게 가르칠까요?

  1. 강아지에게 '앉아'를 가르칠 때, 말로 설명하진 않죠. 잘했을 때 간식을 주면 칭찬받는 행동이 점점 늘어나요.
  2. 모델도 똑같아요. 질문을 받으면 모델이 답을 쓰고, 75장의 채점관이 점수를 매겨요. 이 점수가 간식이에요.
  3. 점수가 높았던 답은 더 자주, 낮았던 답은 덜 나오도록 숫자를 고쳐요. 이게 사람 피드백 강화학습(RLHF)이에요.
  4. 답의 모양을 한 줄로 늘어놓으면, 모델은 점수가 높은 쪽으로 조금씩 옮겨 가요. 강아지가 간식 쪽으로 가듯이요.
  5. 그런데 점수만 쫓으면 위험해요. 채점관의 빈틈을 찾아, 칭찬만 늘어놓는 이상한 답으로 달려갈 수 있거든요.
  6. 그래서 목줄을 채워요. 원래 모델(73장)에서 너무 멀어지면 점수를 깎아요. 이 목줄을 KL 벌점이라고 불러요.
  7. 효과는 놀라웠어요. 사람들은 1,750억 GPT-3보다 RLHF를 거친 13억 InstructGPT의 답을 더 좋아했어요.
  8. 모범 답안 따라 하기와 사람의 칭찬. 이 두 가지로 대화 연습이 끝났어요. 설계도의 빈칸이 하나 채워졌어요!

한 장 요약