AI 해부교실 · Part 4 트랜스포머 이전 이야기

37장 언어 모델 = 문장의 확률

Q. AI는 어떤 문장이 '자연스럽다'는 걸 어떻게 알까요?

1. 두 문장을 볼게요. '나는 오늘 학교에 간다'와 '나는 오늘 학교에 피자'. 어느 쪽이 더 자연스러운가요?
2. 언어 모델은 문장마다 '얼마나 나올 법한지'를 확률로 매기는 기계예요. ChatGPT도 언어 모델이에요.
3. 그런데 문장을 통째로 세기는 어려워요. 처음 보는 문장이 너무 많거든요. 그래서 단어 하나씩 쪼개요.
4. 첫 단어가 '나는'일 확률, 그 뒤에 '오늘'이 올 확률… 앞 단어들을 보고 다음 단어의 확률을 하나씩 구해요.
5. 이 확률들을 차례로 곱하면 문장의 확률이에요. 20% × 25% × 10% × 52% = 0.26%.
6. '피자' 문장은 마지막만 1%라서 0.005%예요. 앞은 똑같은데, 마지막 한 단어 때문에 52배나 차이 나요.
7. 그러니 다음 단어를 잘 맞히는 모델이 문장의 확률도 잘 매겨요. 1장의 '다음 단어 맞히기'가 바로 이거예요.
8. 그럼 이 확률들은 어디서 구할까요? 가장 쉬운 방법은 세어 보기예요. 38장에서 직접 세어 봐요.

한 장 요약

• 언어 모델: 문장이 얼마나 나올 법한지 확률로 매기는 기계.
• 문장의 확률 = 앞 단어들을 보고 구한 다음 단어 확률을 차례로 곱한 것.
• 다음 단어를 잘 맞히는 모델 = 문장의 확률을 잘 매기는 모델(1장).