AI 해부교실 · Part 10 ChatGPT 이후의 세계

90장 내 폰 속 AI

Q. 거대한 AI가 어떻게 인터넷도 없이 내 폰 안에서 돌아갈까요?

1. GPT-3에는 손잡이(파라미터)가 1,750억 개 있어요(12장). 하나를 32비트, 즉 4바이트 숫자로 저장하면 모두 얼마나 클까요?
2. 1,750억 × 4바이트 = 7,000억 바이트, 약 700GB예요. 요즘 폰 메모리는 8~12GB 정도라서 어림도 없어요.
3. 첫째 방법은 작은 모델 만들기예요. 큰 선생님 모델의 답을 작은 학생 모델이 따라 하게 가르쳐요. 이걸 증류라고 해요.
4. 정답 하나만이 아니라 선생님의 확률 막대 전체를 따라 해요. '갔다'도 꽤 그럴듯하다는 것까지 배우는 거죠.
5. 둘째 방법은 숫자를 덜 자세히 적기예요. 8비트는 눈금 256개, 4비트는 눈금 16개짜리 자로 재는 셈이죠. 이걸 양자화라고 해요.
6. 0.82를 8비트 자로 재면 0.824, 4비트 자로 재면 0.88이 돼요. 조금 어긋나지만, 모델은 대체로 비슷하게 움직여요.
7. 30억 개짜리 모델로 계산해 봐요. 32비트면 12GB, 8비트면 3GB, 4비트면 1.5GB. 이제 폰에 들어가요!
8. 폰 안에서 돌면 인터넷 없이도 되고, 내 글이 폰 밖으로 나가지 않아요. 대신 작은 모델이라 어려운 질문엔 약할 수 있어요.

한 장 요약

• 모델 크기 = 파라미터 수 × 숫자 하나의 바이트. GPT-3를 32비트로 담으면 약 700GB.
• 증류: 작은 학생 모델이 큰 선생님 모델의 확률 막대를 따라 하며 배운다.
• 양자화: 32비트 대신 8비트·4비트로 거칠게 적는다. 작은 모델 + 양자화 = 폰 속 AI.