AI 해부교실 · Part 2 기계는 어떻게 배우나

22장 보폭 정하기: 학습률

Q. 산을 내려갈 때 한 걸음을 얼마나 크게 디뎌야 할까요?

1. 21장에서 한 걸음의 크기는 학습률 × 기울기였어요. 학습률(learning rate)은 얼마나 성큼 걸을지 정하는 보폭이에요.
2. 학습률이 너무 작으면(0.01) 거북이처럼 느려요. 다섯 걸음을 가도 아직 산 중턱이에요.
3. 알맞으면(0.1) 몇 걸음 만에 바닥에 닿아요. 21장에서 본 바로 그 걸음이에요.
4. 너무 크면(0.3) 바닥을 지나쳐 반대편으로 튕겨요. 튈 때마다 더 높이 올라가서 손실이 오히려 커져요.
5. 걸음마다 손실을 그래프로 그려 보면 차이가 확 보여요. 느리게 내려가고, 뚝 떨어지고, 치솟아요.
6. 그래서 학습률은 신중하게 골라요. GPT-3도 처음엔 학습률을 조금씩 올렸다가 학습하면서 서서히 줄였어요.
7. 너무 작으면 거북이, 너무 크면 튕겨 나가요. 알맞은 보폭이 중요해요. 더 똑똑한 걸음은 67장에서 배워요.

한 장 요약

• 학습률 = 한 걸음의 보폭. 새 손잡이 = 손잡이 − 학습률 × 기울기.
• 너무 작으면 거북이처럼 느리고, 너무 크면 바닥을 지나쳐 튕겨 나간다.
• 알맞은 학습률을 골라야 빨리 바닥에 닿는다. 학습 중에 줄여 가기도 한다.