AI 해부교실 · Part 2 기계는 어떻게 배우나

25장 기출만 외운 학생

Q. 연습 문제는 다 맞히는데 시험만 보면 틀리는 AI, 왜 그럴까요?

1. 기출문제만 달달 외운 학생은 기출은 만점인데, 처음 보는 문제는 망쳐요. AI에게도 똑같은 일이 생겨요.
2. 가게 8곳의 줄과 별점으로 연습해요. 이게 훈련 데이터예요. 단순한 직선은 점들 사이를 적당히 지나가요.
3. 아주 복잡한 모델을 오래 학습시키면 점 8개를 모두 정확히 지나는 꼬불꼬불한 선이 돼요. 훈련 손실은 0이에요.
4. 그런데 처음 보는 가게 7곳(검증 데이터)을 넣으면 엉뚱한 답을 내요. 외우기만 한 거죠. 이게 과적합(overfitting)이에요.
5. 학습하면서 두 손실을 같이 그려 보면, 훈련 손실은 계속 내려가는데 검증 손실은 어느 순간부터 다시 올라가요.
6. 검증 손실이 가장 낮을 때 멈추거나 데이터를 더 모아요. 처음 보는 문제도 잘 푸는 힘이 일반화(generalization)예요.
7. GPT도 학습할 때 따로 떼어 둔 글로 검증 손실을 지켜봐요. 외운 게 아니라 정말 배웠는지 확인하는 거예요.

한 장 요약

• 과적합: 훈련 데이터를 외워서 훈련 손실은 낮은데 처음 보는 데이터에선 틀린다.
• 검증 데이터(학습에 안 쓴 문제)로 확인한다. 검증 손실이 다시 오르면 위험 신호.
• 막는 법: 검증 손실이 가장 낮을 때 멈추기, 데이터 더 모으기. 목표는 일반화.