AI 해부교실 · Part 2 기계는 어떻게 배우나

17장 꺾어야 산다: 활성화 함수

Q. 떡볶이는 적당히 매운 게 최고인데, 뉴런도 그걸 알아챌 수 있을까요?

  1. 가격이 같은 가게 13곳을 맵기와 줄로 찍었어요. 동그라미는 친구들이 고른 맛집, 엑스는 별로인 집이에요.
  2. 16장 뉴런은 직선 하나로 평면을 갈라요. 그런데 직선을 아무리 옮기고 돌려도 최소 두 곳은 꼭 틀려요.
  3. 뉴런은 곱하고 더하기만 해서 경계가 늘 직선이에요. 뉴런을 여러 개 이어도, 직선과 직선을 더하면 또 직선이죠.
  4. 그래서 뉴런의 출력을 한 번 꺾어요. ReLU는 음수면 0, 양수면 그대로 내보내요. 이런 장치를 활성화 함수라고 해요.
  5. 꺾인 선을 쓰면 V자 경계를 만들 수 있어요. 맛집과 별로인 집이 깔끔하게 갈렸어요. 만드는 법은 18장에서 봐요.
  6. GPT는 ReLU를 부드럽게 다듬은 GELU를 써요. 0 근처가 둥글고, 음수 쪽은 아주 살짝 내려갔다가 0으로 돌아와요.
  7. 활성화 함수가 없으면 아무리 쌓아도 직선 하나와 같아요. 꺾을 수 있어야 복잡한 모양을 배울 수 있어요.

한 장 요약