AI 해부교실 · Part 9 대답이 만들어지는 순간

84장 그럴듯한 거짓말

Q. AI가 자신 있게 말하면 다 사실일까요?

1. 없는 책을 물었는데, 출간 연도와 수상 경력까지 술술 대답했어요. 이런 그럴듯한 거짓말을 환각(hallucination)이라고 해요.
2. 한 조각씩 다시 볼게요. 책 소개는 보통 출간 연도로 시작하니까 '2018년에'가 그럴듯해요. '그런 책은'은 4%뿐이에요.
3. 다음 조각도 마찬가지예요. 나온, 동화로, 어린이 문학상을. 매번 그럴듯한 말을 골랐을 뿐인데, 이어 붙이니 가짜 사실이 됐어요.
4. 모델이 배운 건 '다음에 올 법한 말'이에요(1장). 그 말이 사실인지 따로 확인하는 장치는 없어요.
5. 게다가 한번 쓴 말은 지울 수 없죠(2장). '2018년에'를 쓴 순간부터, 뒤는 거기에 맞춰 그럴듯하게 이어져요.
6. 환각은 드문 사실, 숫자와 날짜, 사람 이름, 출처에서 특히 잘 생겨요. 진짜처럼 보이는 가짜 출처를 만들기도 해요.
7. 그래서 중요한 내용은 출처를 직접 확인해야 해요. 믿을 만한 자료를 함께 넣어 주면 훨씬 덜 지어내요(88장).
8. 온도를 낮추면 어떨까요? 엉뚱한 뽑기는 줄지만, 1등 답이 지어낸 거라면 그대로예요. 그럴듯함과 사실은 달라요.

한 장 요약

• 환각: 사실이 아닌 내용을 그럴듯하게 지어내는 것.
• 모델은 '다음에 올 법한 말'을 고를 뿐, 그 말이 사실인지 확인하지 않는다.
• 숫자·이름·출처는 직접 확인하고, 자료를 함께 주면 덜 지어낸다(88장).