AI 해부교실 · Part 2 기계는 어떻게 배우나

19장 순전파

Q. 신경망에 숫자를 넣으면, 안에서는 무슨 일이 벌어질까요?

  1. 18장처럼 층이 있는 작은 신경망에 가게 A를 넣어 볼게요. 입력 3개, 뉴런 2개짜리 층, 별점을 내는 출력 뉴런이에요.
  2. 입력 숫자가 선을 따라 흐르며 가중치와 곱해져요. '인기' 뉴런은 1.5 + 2 − 2에 편향 −0.5를 더해 1이에요.
  3. '너무 매움' 뉴런은 맵기가 4단계를 넘으면 켜지는 경보예요. 3 − 4 = −1이라 ReLU가 0으로 꺼요.
  4. 층의 출력 1과 0이 다음 층으로 흘러가요. 1 × 1.5 + 0 × (−1) + 2 = 3.5. 예상 별점은 3.5점이에요.
  5. 이렇게 입력에서 출력 쪽으로, 한 방향으로 차례차례 계산하는 걸 순전파(forward pass)라고 해요.
  6. 맵기를 5단계로 올리면 경보 뉴런이 켜져서 1점을 깎아요. 같은 신경망도 입력에 따라 다른 뉴런이 일해요.
  7. GPT도 순전파로 답을 내요. 글이 96개 층을 차례로 지나고 끝에서 다음 단어 확률이 나와요. 그런데 3.5점, 맞았을까요?

한 장 요약