AI 해부교실 · Part 9 대답이 만들어지는 순간

80장 고르는 방법

Q. 그냥 확률이 제일 높은 말만 고르면 되지 않나요?

1. '나는 오늘 학교에' 다음 말의 확률이 나왔어요. 이제 이 중에서 하나를 골라야 해요. 어떻게 고를까요?
2. 첫 번째 방법은 그리디예요. 욕심쟁이처럼 매번 확률이 가장 높은 1등만 골라요. 여기선 '간다'죠.
3. 그리디는 한결같아요. 같은 문장을 몇 번 넣어도 늘 1등만 고르니까, 답이 매번 똑같아요.
4. 대신 같은 말을 맴돌기 쉬워요. 1등만 따라가다 보면 '그리고 친구를 만났다'가 계속 되풀이돼요.
5. 두 번째 방법은 샘플링이에요. 확률만큼 칸을 나눈 룰렛을 돌려요. 13장에서 본 뽑기와 같아요.
6. 여러 번 돌리면 '간다'가 가장 자주 나오지만, '갔다'나 '늦었다'도 나와요. 매번 결과가 달라요.
7. ChatGPT는 보통 샘플링을 써서 같은 질문에도 답이 조금씩 달라요. 룰렛 칸 크기는 다음 장의 온도로 조절해요.

한 장 요약

• 그리디: 매번 확률 1등만 고른다. 한결같지만 같은 말을 맴돌기 쉽다.
• 샘플링: 확률만큼 칸을 나눈 룰렛을 돌린다. 돌릴 때마다 결과가 다르다.
• ChatGPT는 보통 샘플링을 써서, 같은 질문에도 답이 조금씩 다르다.