AI 해부교실 · Part 7 GPT 공부시키기

64장 정답지 없는 공부

Q. 인터넷 글에는 정답지가 없는데, GPT는 뭘 보고 채점했을까요?

1. 4장의 스팸 필터는 사람이 '스팸', '정상' 정답을 달아 줘야 했어요. 그런데 인터넷 글 전부에 정답을 달 수는 없어요.
2. 비밀은 글 자체가 정답지라는 거예요. 문장 하나를 가져와 볼게요. '나는 오늘 학교에 간다.'
3. 앞부분만 보여 주고 다음 조각을 가리면 문제가 돼요. '나는' 다음은? 정답은 바로 뒤에 있던 '오늘'이에요.
4. 한 칸씩 늘리면 또 문제가 생겨요. '나는 오늘' 다음은 '학교에', '나는 오늘 학교에' 다음은 '간다'.
5. 조각 5개짜리 문장에서 문제가 4개 나왔어요. 정답은 사람이 아니라 글이 알려 줘요. 이게 자기지도학습이에요.
6. 모델은 이 4문제를 한꺼번에 풀어요. 51장의 가림막 덕분에 자리마다 자기 앞만 볼 수 있거든요.
7. GPT-3가 본 약 3,000억 토큰이 전부 이런 문제예요. 정답지 한 장 없이 문제가 약 3,000억 개 생긴 거죠.

한 장 요약

• 문장의 앞부분만 보여 주고 다음 조각을 맞히게 하면 문제가 된다.
• 정답은 글 속 바로 다음 조각. 사람이 정답을 달 필요가 없다 = 자기지도학습.
• 조각 N개짜리 문장 하나 → 문제 N − 1개. 인터넷 전체가 문제집이 된다.