AI 해부교실 · Part 2 기계는 어떻게 배우나

23장 역전파: 책임 나누기

Q. 손잡이가 수십억 개인데, 틀렸을 때 어느 손잡이를 얼마나 고쳐야 할까요?

  1. 19장 신경망은 가게 A를 3.5점으로 예상했고, 진짜는 4.5점이라 손실은 1이에요. 손잡이 11개 중 누구 탓일까요?
  2. 21장처럼 하나씩 살짝 바꿔 보면 알 수 있어요. 하지만 GPT-3는 손잡이가 1,750억 개라 끝이 없어요.
  3. 그래서 끝에서부터 거꾸로 책임을 나눠요. 별점을 0.01 올리면 손실이 0.02 줄어요. 별점의 책임은 −2예요.
  4. 별점은 인기 × 1.5로 만들어졌어요. 그래서 인기의 책임은 −2 × 1.5 = −3. 책임이 선을 따라 거꾸로 흘러요.
  5. 줄 가중치는 줄 2와 곱해져 인기를 만들어요. 그래서 책임은 −3 × 2 = −6. 이렇게 곱셈이 사슬처럼 이어져요.
  6. '너무 매움' 뉴런은 꺼져 있었죠. 꺼진 뉴런은 결과를 못 바꾸니 책임도 0. 그 손잡이들은 그대로 둬요.
  7. 이렇게 한 번 거꾸로 훑으면 모든 손잡이의 책임이 한꺼번에 나와요. 이게 역전파(backpropagation)예요.
  8. 책임의 반대쪽으로 조금씩 고치면 예측이 4.2점, 손실은 1에서 0.09로 줄어요. 1986년에 널리 알려진 방법이에요(3장).

한 장 요약