AI 해부교실 · Part 9 대답이 만들어지는 순간

83장 AI의 기억 한계

Q. ChatGPT와 오래 이야기하다 보면, 처음에 한 말을 잊어버릴 때가 있어요. 왜 그럴까요?

1. 77장에서 봤듯이 대화는 모델에게 하나의 긴 글이에요. 그런데 한 번에 읽을 수 있는 길이에는 한계가 있어요.
2. 이 한계를 컨텍스트 창이라고 해요. GPT-3은 2,048토큰까지 볼 수 있었어요. 창 안에 든 글만 예측에 쓰여요.
3. 대화가 길어지면, 새 말이 들어올 때마다 가장 오래된 말이 창 밖으로 밀려나요.
4. 이제 이름을 물으면? 이름은 창 밖이라 모델 눈에 안 보여요. 모른다고 하거나, 이름을 지어낼 수도 있어요(84장).
5. 창을 마냥 키우기는 어려워요. 어텐션은 조각 쌍마다 점수를 매기니까(47장), 길이가 2배면 점수표는 4배예요.
6. 답을 쓸 땐 조각 하나를 만들 때마다 앞 조각 전부의 Key와 Value가 필요해요(46장). 매번 새로 계산하면 낭비죠.
7. KV 캐시는 이미 계산한 Key·Value 메모를 다시 쓰는 방법이에요. 앞 조각은 뒤를 안 보니까(51장) 값이 그대로거든요.
8. 대신 메모는 대화가 길수록 쌓여서 메모리를 차지해요. 긴 대화에선 중요한 내용을 다시 알려 주면 좋아요.

한 장 요약

• 컨텍스트 창(context window): 모델이 한 번에 볼 수 있는 토큰 수. GPT-3은 2,048토큰.
• 창을 넘으면 오래된 말부터 밀려나서, 모델은 그 내용을 볼 수 없다.
• KV 캐시: 이미 계산한 Key·Value를 메모해 두고 다시 써서 답을 빨리 만든다.