AI 해부교실 · Part 7 GPT 공부시키기

67장 똑똑한 내리막

Q. 기울기만 보고 내려가는 공은 왜 길을 잃을까요?

  1. 21장에서 공은 발밑 기울기만 보고 내려갔어요. 그런데 진짜 손실 지형은 이렇게 울퉁불퉁해요.
  2. 기울기만 따르는 공은 작은 웅덩이에 빠지면 멈춰요. 웅덩이 바닥은 기울기가 0이라 더 갈 곳이 없거든요.
  3. 그래서 관성을 줘요. 굴러온 기세를 기억해서, 그 힘으로 작은 언덕을 넘어 더 깊은 골짜기까지 가요.
  4. 두 번째 문제는 보폭이에요. 손잡이마다 기울기가 달라서, 가파른 쪽은 이리저리 튀고 완만한 쪽은 거북이처럼 느려요.
  5. 그래서 손잡이마다 보폭을 따로 맞춰요. 크게 흔들리던 손잡이는 조금씩, 잘 안 움직이던 손잡이는 성큼성큼.
  6. 관성과 보폭 자동 조절을 합친 방법이 Adam이에요. 2014년에 나왔고, GPT를 학습시킬 때도 Adam을 써요.
  7. 실제 계산은 조금 더 복잡하지만 핵심은 이 두 가지예요. 66장 고리의 ④ 업데이트가 더 똑똑해진 거죠.

한 장 요약