AI 해부교실 · Part 7 GPT 공부시키기

68장 왜 GPU일까?

Q. AI 회사들은 왜 컴퓨터 대신 '그래픽카드'를 잔뜩 살까요?

1. GPT 계산은 대부분 행렬 곱이에요(11장). GPT-3는 한 층에만 12,288 × 12,288 행렬이 여러 개 있어요.
2. 작게 4 × 4 행렬 두 개를 곱해 볼게요. 결과 칸은 16개. 칸마다 줄 하나와 열 하나를 곱해서 더해요(9장).
3. CPU를 아주 빠른 계산기 1대라고 해 볼게요. 칸을 하나씩 차례로 채우니까, 16칸이면 16번 차례를 기다려요.
4. 그런데 칸들은 서로를 기다릴 필요가 없어요. 각 칸은 자기 줄과 자기 열만 있으면 바로 계산할 수 있거든요.
5. GPU는 단순한 계산기 수천 개예요. 학생 1만 명이 한 칸씩 맡듯이, 모든 칸을 한꺼번에 채워요.
6. 설명용 예시로 계산기는 1초에 20칸, 학생은 1초에 1칸. 1만 칸이면 계산기는 500초, 학생 1만 명은 1초면 끝!
7. 그래서 큰 AI는 GPU 수천 개를 이어 붙여 학습해요. 단어를 한꺼번에 계산하는 트랜스포머는 GPU와 찰떡궁합이에요(41장).

한 장 요약

• 행렬 곱의 결과 칸은 각각 '줄 하나 · 열 하나' 계산. 서로 기다릴 필요가 없다.
• CPU = 빠른 계산기 몇 대가 차례로, GPU = 단순한 계산기 수천 개가 동시에.
• 칸이 많을수록 GPU가 유리하다. 그래서 AI 학습은 GPU로 한다.