AI 해부교실 · Part 0 ChatGPT, 넌 누구니?

2장 한 단어씩 써 내려가는 AI

Q. ChatGPT의 답은 왜 타자를 치듯 한 조각씩 나타날까요?

  1. 질문을 보내면 답이 한 조각씩 나타나죠. 멋 부리는 연출이 아니라, 진짜로 한 조각씩 만들고 있어서예요.
  2. 기계 안을 보면 이래요. 질문과 지금까지 쓴 답, 그러니까 글 전체가 모델에 들어가면 다음 조각 하나가 나와요.
  3. 나온 조각은 글 끝에 붙고, 늘어난 글이 다시 모델로 들어가요. 자기가 쓴 걸 다시 읽으며 이어 쓰는 이 방식을 자기회귀라고 해요.
  4. 그럼 언제 멈출까요? '이제 끝'을 뜻하는 특별한 조각이 뽑히면 멈춰요. 이걸 끝 토큰이라고 불러요.
  5. 답이 9조각이면 모델을 9번 돌린 거예요. 100조각이면 100번이요. 그래서 답이 길수록 오래 걸려요.
  6. 그리고 한번 붙인 조각은 지우지 않아요. 앞에서 틀렸다면, 고치는 말도 뒤에 이어서 써야 해요.
  7. 같은 질문에 답이 매번 조금씩 다른 건, 조각을 확률에 따라 뽑기 때문이에요. 81장에서 자세히 다뤄요.

한 장 요약