AI 해부교실 · Part 2 기계는 어떻게 배우나

24장 문제집 나눠 풀기

Q. 문제가 수백만 개인 문제집, 한 문제씩 고칠까요, 다 풀고 한 번에 고칠까요?

1. A에 맞춰 줄 손잡이를 1.5로 바꾸면 A는 딱 맞지만, B가 크게 틀어져서 다섯 곳 전체 손실은 0.7에서 1.95로 커져요.
2. 그래서 문제집 전체를 보고 고쳐야 해요. 그런데 문제가 수백만 개면, 다 풀고 한 번 고치기엔 너무 느려요.
3. 그래서 몇 문제씩 묶어서 풀어요. 한 묶음을 풀고, 채점하고, 손잡이를 고치고, 다음 묶음으로. 이 묶음이 미니배치예요.
4. 문제집을 처음부터 끝까지 한 번 다 풀면 1 에폭(epoch)이라고 해요. 보통 여러 에폭을 되풀이해요.
5. 문제 180개를 푸는 동안 비교해요. 한 문제씩은 빨리 내려가지만 들쭉날쭉, 전부 다는 겨우 3번. 10문제씩은 부드러워요.
6. 컴퓨터는 묶음 하나를 한꺼번에 계산해서 빨라요(68장). GPT-3는 한 묶음에 토큰을 약 320만 개씩 담았어요.
7. 미니배치로 나눠 풀고, 에폭을 되풀이하기. 그런데 같은 문제집만 너무 많이 풀면 생기는 문제가 있어요(25장).

한 장 요약

• 한 문제만 보고 고치면 다른 문제가 틀어진다. 문제집 전체를 봐야 한다.
• 미니배치: 몇 문제씩 묶어 풀고 채점하고 고치기. 에폭: 문제집을 한 바퀴.
• 한 문제씩은 비틀비틀, 전부 다는 느림. 적당한 묶음이 빠르고 덜 흔들린다.