AI 해부교실 · Part 7 GPT 공부시키기

63장 교과서는 인터넷

Q. ChatGPT는 도대체 무슨 책으로 공부했을까요?

1. ChatGPT의 교과서는 인터넷이에요. 뉴스, 백과사전, 블로그, 책, 코드까지 사람이 쓴 글을 엄청나게 모아요.
2. 그런데 모은 글을 그대로 쓰면 안 돼요. 똑같은 글이 수없이 복사돼 있고, 광고와 깨진 글, 나쁜 말도 섞여 있어요.
3. 그래서 글 공장을 거쳐요. 첫 번째는 중복 제거. 똑같거나 거의 같은 글은 하나만 남기고 지워요.
4. 두 번째는 품질 필터. 광고, 의미 없는 글자 나열, 같은 말 반복처럼 배울 게 없는 글을 걸러요.
5. 세 번째는 유해 콘텐츠 필터. 욕설, 위험한 내용, 전화번호 같은 개인정보가 담긴 글을 빼요.
6. 설명용 예시로, 100만큼 모았다면 25만큼만 남아요. 실제 비율은 데이터마다 달라요.
7. GPT-3는 이렇게 고른 글로 약 3,000억 토큰을 공부했어요. 4장에서 본 대로, 좋은 데이터가 좋은 모델을 만들어요.

한 장 요약

• ChatGPT의 교과서 = 인터넷의 엄청난 글 (뉴스, 백과사전, 책, 코드…).
• 그대로 쓰지 않고 중복 제거 → 품질 필터 → 유해 콘텐츠 필터를 거친다.
• 걸러 내면 양은 줄지만, 좋은 데이터가 좋은 모델을 만든다.