AI 해부교실 · Part 7 GPT 공부시키기

70장 클수록 똑똑해진다

Q. 모델을 10배 키우면 얼마나 좋아질까요? 미리 알 수 있을까요?

1. 모델을 키우면 정말 똑똑해질까요? 2020년 연구자들은 크기가 다른 모델을 여러 개 만들어 손실을 비교했어요.
2. 보통 눈금으로 그려 볼게요. 작은 모델들은 왼쪽 끝에 몰려 있고, 그 뒤로는 거의 평평해 보여요.
3. 이번엔 가로 눈금을 바꿔요. 한 칸 갈 때마다 1씩 더하는 대신, 10배씩 곱하는 눈금이에요.
4. 그러면 점들이 한 줄로 쭉 늘어서요. 설명용 예시로, 크기를 10배 키울 때마다 손실이 0.5씩 줄어요.
5. 10배씩 커지는 이 눈금을 로그 눈금이라고 해요. 65장의 놀람처럼 '몇 번 곱했나'를 세는 눈금이죠.
6. 데이터 양이나 계산량을 늘려도 똑같이 곧은 선이 나왔어요. 이 규칙을 스케일링 법칙이라고 해요.
7. 선을 쭉 이으면 더 큰 모델의 손실도 미리 내다볼 수 있어요. 그래서 GPT-3 같은 큰 모델에 도전했죠.
8. 2022년 친칠라 연구는 모델만 키우지 말고, 파라미터 하나에 글 조각 약 20개꼴로 데이터도 함께 늘리라고 했어요.

한 장 요약

• 가로 눈금을 10배씩으로 바꾸면(로그 눈금) 손실이 곧은 선으로 줄어든다.
• 크기·데이터·계산량을 늘리면 손실이 예측 가능하게 준다 = 스케일링 법칙(2020).
• 선을 이어 큰 모델을 내다본다. 데이터도 함께 늘려야 한다(친칠라, 2022).