AI 해부교실 · Part 8 ChatGPT의 탄생

73장 모범답안 따라 하기

Q. 말을 안 듣는 모델에게 '대답하는 법'은 어떻게 가르칠까요?

1. 해결책은 의외로 단순해요. 사람이 직접 질문과 모범 답안을 써서 모델에게 보여 주는 거예요.
2. 번역, 계산, 시 쓰기, 설명까지 여러 질문마다 친절하고 정확한 답을 써요. 이런 예시를 아주 많이 모아요.
3. 학습 방법은 Part 7과 똑같은 다음 조각 맞히기예요. 다만 교과서가 인터넷 글에서 모범 답안으로 바뀌었어요.
4. 이미 똑똑한 모델이라 숫자를 살짝만 다듬어요. 모범 답안으로 이렇게 다듬는 방법을 지도 미세조정(SFT)이라고 해요.
5. 결과는 놀라워요. 같은 질문에 이제는 질문을 이어 쓰지 않고, 제대로 대답해요.
6. 처음 보는 질문에도 대답해요. 답을 외운 게 아니라, '질문 다음엔 대답'이라는 모양과 말투를 배운 거예요.
7. 하지만 모범 답안을 쓰는 일은 힘들고 오래 걸려요. 그래서 사람들은 더 쉬운 방법을 찾았어요. 다음 장에서 봐요.

한 장 요약

• SFT: 사람이 쓴 질문과 모범 답안으로 모델을 살짝 더 학습시킨다.
• 학습 방법은 사전학습과 같은 다음 조각 맞히기, 교과서만 바뀐다.
• 모델은 답을 외우지 않고 대답하는 모양과 말투를 따라 한다.