AI 해부교실 · Part 0 ChatGPT, 넌 누구니?

5장 우리가 조립할 설계도

Q. ChatGPT라는 기계를 열면 안에 뭐가 들어 있을까요?

  1. 지금까지 본 걸 정리하면, ChatGPT는 다음 조각을 맞히는 기계예요. 이제 그 기계를 열어 볼 차례예요.
  2. 맨 앞에는 글을 조각내는 토크나이저, 조각을 숫자로 바꾸는 임베딩, 몇 번째 조각인지 알려 주는 위치 정보가 있어요.
  3. 가운데는 트랜스포머 블록이에요. 조각끼리 쳐다보는 어텐션과 생각을 더하는 피드포워드가 한 세트로, 수십 층 쌓여 있어요.
  4. 마지막엔 소프트맥스로 다음 조각의 확률을 내고, 하나를 뽑아 붙여요. 그리고 다시 맨 위로.
  5. 그런데 부품 속 숫자는 처음엔 엉망이에요. 엄청난 양의 글로 다음 조각 맞히기를 연습하며 숫자를 고쳐야 해요. 이게 사전학습이에요.
  6. 마지막으로 모범 답안과 사람의 칭찬으로 대화하는 법을 배워요. 그러면 ChatGPT가 돼요.
  7. 앞으로 이 설계도의 빈칸을 한 Part씩 채워 갈 거예요. 지금까지는 뽑아서 붙이기와 학습 데이터를 채웠어요. 출발해 볼까요?

한 장 요약