AI 해부교실 · Part 11 졸업 프로젝트

95장 생성해 보기

Q. 내가 훈련시킨 모델은 어떤 글을 쓸까요?

1. 이제 모델로 글을 써 볼 차례예요. 방법은 2장과 같아요. 다음 토큰을 하나 뽑아 붙이고, 줄바꿈이 나올 때까지 다시.
2. '가는' 다음 토큰의 확률은 말 52%, 정 20%, 토 9%예요. 데이터 속 가는 말, 가는 정, 가는 토끼를 배운 거죠.
3. 온도를 낮추면(81장) 1등이 더 커져요. 온도 0.3에서는 '말'이 95%라서, 다섯 번 써도 같은 문장이 나와요.
4. 그런데 '가는 말이 천 리 간다'는 데이터에 없는 말이에요. 두 속담을 이어 붙여 그럴듯하게 지어낸 거예요.
5. 온도를 높이면 낮은 막대도 자주 뽑혀요. 온도 1.6에서는 문장이 매번 다르고, 엉터리도 섞여요.
6. 교과서 문장 모델은 '사각형은 변이 세 개인 도형이다.'라고 쓰기도 했어요. 그럴듯하지만 틀린 말, 환각이에요(84장).
7. 작지만 ChatGPT가 글을 쓰는 방식 그대로예요. 직접 해보기에서 시작 글자와 온도를 바꾸며 써 보세요.

한 장 요약

• 생성 = 확률 내기 → 하나 뽑기 → 붙이기. 줄바꿈이 나오면 멈춘다.
• 온도를 낮추면 한결같고 외운 말, 높이면 다양하지만 엉터리도.
• 그럴듯한 조합이 사실과 다르면 환각. 작은 모델도 마찬가지.