AI 해부교실 · Part 2 기계는 어떻게 배우나

27장 Part 2 보스전

Q. 지금까지 배운 걸 다 모으면, 신경망을 처음부터 학습시킬 수 있을까요?

1. Part 2 보스전이에요! 17장 맛집 지도를 가게 60곳으로 늘렸어요. 이번엔 경계를 손으로 정하지 않고 신경망이 스스로 찾아요.
2. 입력 2개 → ReLU 뉴런 8개 → 출력 1개(18장). 손잡이 33개는 처음엔 아무렇게나 정해요. 0.5를 넘으면 맛집이에요.
3. 학습 루프를 돌려요. 순전파(19장), 손실 재기(20장), 역전파로 책임 나누기(23장), 경사하강으로 고치기(21장).
4. 10곳씩 미니배치로 300 에폭(24장). 손실이 내려가면서 경계가 점점 V자가 되고, 정확도는 23%에서 100%가 돼요.
5. 따로 떼어 둔 처음 보는 가게 30곳으로 검증해요(25장). 30곳 모두 맞혔어요. 외운 게 아니라 V자 규칙을 배운 거예요.
6. GPT도 똑같이 배워요. 다만 손잡이 33개 대신 1,750억 개, 가게 60곳 대신 토큰 3,000억 개로요.
7. Part 2 학습 도구 완성! 다음 Part 3에서는 신경망에 글을 넣기 위해 글자를 숫자로 바꾸는 법을 배워요.

한 장 요약

• 학습 루프: 순전파 → 손실 → 역전파 → 경사하강으로 고치기, 미니배치로 에폭마다 되풀이.
• 뉴런 수, 학습률, 에폭은 사람이 정한다. 손잡이(가중치, 편향)는 학습이 찾는다.
• 검증 데이터로 확인해야 진짜 실력. GPT도 같은 방법으로, 훨씬 크게 배운다.