AI 해부교실 · Part 7 GPT 공부시키기

69장 GPT-1 → 2 → 3

Q. GPT-1에서 GPT-3까지, 2년 동안 얼마나 커졌을까요?

1. GPT는 한 번에 태어나지 않았어요. 2018년 GPT-1, 2019년 GPT-2, 2020년 GPT-3. 해마다 몸집이 커졌어요.
2. 파라미터(12장의 손잡이) 1억 개를 건물 1층이라고 해 볼게요. GPT-1은 1.17억 개, 겨우 1층짜리 집이에요.
3. GPT-2는 15억 개. 15층 아파트가 됐어요. 1년 만에 약 13배로 커졌죠.
4. GPT-3는 1,750억 개예요. 몇 층일까요? 화면에 다 안 들어가요. 뒤로 물러나 볼게요.
5. 무려 1,750층! GPT-2의 약 117배, GPT-1의 약 1,500배예요. GPT-1은 점 하나로도 안 보여요.
6. 123층짜리 롯데월드타워를 약 14개 쌓아야 닿는 높이예요. 어마어마하죠.
7. 덩치를 키운 GPT-3는 예시 몇 개만 보고도 새 문제를 풀어냈어요(71장). 왜 클수록 똑똑해질까요? 다음 장에서 봐요.

한 장 요약

• GPT-1(2018) 1.17억 → GPT-2(2019) 15억 → GPT-3(2020) 1,750억 개.
• 1억 개 = 1층이면 1층 집 → 15층 아파트 → 1,750층 탑.
• 2년 만에 약 1,500배. 크기를 키우자 새로운 능력이 나타났다(71장).