AI 해부교실 · Part 2 기계는 어떻게 배우나

21장 경사하강법

Q. 손실을 줄이려면 손잡이를 어느 쪽으로, 얼마나 돌려야 할까요?

  1. 가게 A 하나만 보고, 16장 뉴런의 줄 손잡이 w 하나만 돌려 볼게요. 지금 w는 1, 손실은 1이에요.
  2. w를 여러 값으로 바꾸며 손실을 찍어 보면 골짜기 모양이 나와요. 우리는 가장 낮은 바닥을 찾고 싶어요.
  3. 그런데 실제로는 이 그림을 볼 수 없어요. 손잡이가 수없이 많으니까요. 안개 낀 산에서 발밑만 보이는 셈이에요.
  4. 발밑의 기울기는 알 수 있어요. w를 0.01만 살짝 올려 보면 손실이 1에서 0.96으로, 약 0.04 줄어요.
  5. 기울기는 살짝 바꿨을 때 손실이 얼마나 변하나예요. −0.04 ÷ 0.01 = 약 −4. 음수니까 w를 올리면 내려가요.
  6. 그래서 기울기의 반대쪽으로 한 걸음! 새 w = 1 − 0.1 × (−4) = 1.4. 0.1은 보폭이에요(22장 학습률).
  7. 이걸 되풀이하면 공이 바닥으로 굴러가요. w는 1.5, 예측은 4.5점, 손실은 0. 이게 경사하강법이에요.
  8. 손잡이가 둘이면 그릇 모양이 돼요. 1,750억 개면 상상도 못 할 산이지만, 손잡이마다 기울기를 구하는 건 똑같아요.

한 장 요약