AI 해부교실 · Part 2 기계는 어떻게 배우나

18장 층을 쌓으면

Q. 뉴런 하나로 못 푸는 문제, 뉴런을 여러 개 모으면 풀 수 있을까요?

  1. 17장의 V자 경계는 어떻게 만들까요? 뉴런 하나로는 직선밖에 못 그리니까, 뉴런 여러 개를 모아 층을 만들어요.
  2. 첫 층에 뉴런 두 개를 둬요. 하나는 맵기 − 3, 하나는 3 − 맵기를 계산하고, 둘 다 ReLU로 음수를 0으로 꺾어요.
  3. 두 값을 더하면 '3단계에서 얼마나 먼가'가 돼요. 1단계와 5단계는 똑같이 2, 2단계와 4단계는 똑같이 1이에요.
  4. 평면에서 보면 종이를 3단계 선에서 반으로 접은 거예요. 왼쪽 점들이 오른쪽으로 넘어가 포개져요.
  5. 접힌 종이 위에서는 V자가 직선으로 펴져요. 이제 다음 층의 뉴런 하나가 직선 하나로 깔끔하게 갈라요.
  6. 층을 더 쌓으면 접고 또 접을 수 있어요. 두 번 접으면 W자, 여러 번 접으면 아주 복잡한 경계도 만들어요.
  7. 이렇게 층을 쌓은 신경망을 다층 퍼셉트론(MLP)이라고 해요. GPT-3는 층마다 이런 뉴런을 49,152개씩 써요.

한 장 요약