AI 해부교실 · Part 8 ChatGPT의 탄생

72장 똑똑하지만 말을 안 듣는 모델

Q. 인터넷 글을 엄청나게 읽은 모델에게 질문하면, 바로 대답해 줄까요?

1. Part 7에서 인터넷 글로 다음 조각 맞히기 공부를 마친 모델이 있어요. 이걸 베이스 모델(base model)이라고 해요.
2. 이 모델에게 물어볼게요. '대한민국의 수도는 어디인가요?' 당연히 서울이라고 대답하겠죠?
3. 그런데 대답 대신 질문을 계속 써요. 일본의 수도는? 중국의 수도는? 마치 시험 문제 목록처럼요.
4. 모델 눈에는 이 글이 문제집의 첫 줄로 보였어요. 인터넷에는 질문 다음에 또 질문이 오는 글이 아주 많거든요.
5. 베이스 모델이 배운 건 그럴듯하게 이어 쓰기뿐이에요(2장). 질문에 대답하라고 배운 적은 없어요.
6. 그래서 꾀를 냈어요. '질문: … 답:' 모양으로 글을 시작하면, 다음 조각으로 답이 올 확률이 확 커져요.
7. 하지만 매번 꾀를 낼 수는 없죠. 똑똑하지만 말을 안 듣는 이 모델을 말 잘 듣게 가르치는 게 Part 8 이야기예요.

한 장 요약

• 베이스 모델은 인터넷 글로 다음 조각 맞히기만 배운 모델이다.
• 질문을 주면 대답 대신 문제집처럼 질문을 이어 쓰기도 한다.
• 글의 모양을 바꾸면 답을 끌어낼 수 있지만, 근본 해결은 따로 가르치기.