AI 해부교실 · Part 8 ChatGPT의 탄생

75장 AI 채점관

Q. 사람 대신 답에 점수를 매겨 주는 AI가 있다면 어떨까요?

1. 사람 대신 채점하는 AI를 만들어요. 답을 넣으면 점수가 하나 나오는 기계, 보상 모델(reward model)이에요.
2. 속은 GPT와 같은 트랜스포머예요. 다만 마지막에 다음 조각의 확률 대신, 점수 하나를 내도록 바꿨어요.
3. 처음엔 엉터리로 채점해요. 사람은 B가 낫다고 했는데, 채점관은 A에게 더 높은 점수를 줬어요.
4. 그러면 틀린 만큼 숫자를 고쳐요(21장). B의 점수는 올라가고, A의 점수는 내려가는 쪽으로요.
5. 두 점수를 14장의 소프트맥스에 넣으면 'B가 이길 확률'이 돼요. 이 확률이 사람의 선택과 맞도록 연습해요.
6. 아주 많은 비교 쌍으로 연습하고 나면, 처음 보는 답에도 사람이 좋아할 만한 정도를 점수로 매겨요.
7. 하지만 채점관도 완벽하진 않아요. 칭찬만 잔뜩 늘어놓은 답에 속아서 높은 점수를 주기도 해요. 76장에서 다시 봐요.

한 장 요약

• 보상 모델: 질문과 답을 넣으면 점수 하나를 내는 채점관 AI.
• 사람의 비교 쌍에서 '더 나은 답'의 점수가 더 높도록 숫자를 고치며 배운다.
• 두 점수의 소프트맥스 = 더 나은 답이 이길 확률. 채점관도 가끔 속는다.