AI 해부교실 · Part 6 트랜스포머 조립하기

56장 정보 고속도로

Q. 층을 96개나 지나면, 처음 문장의 정보는 다 지워지지 않을까요?

1. 말 전달 게임을 해 본 적 있나요? 여러 사람을 거칠수록 처음 말이 점점 엉뚱하게 바뀌죠.
2. 층을 깊이 쌓아도 같은 일이 생겨요. 층마다 벡터를 통째로 바꾸면 처음 정보가 점점 흐려져요.
3. 그래서 블록은 벡터를 바꿔치기하지 않아요. 부품이 낸 결과를 원래 벡터에 더해요. x + f(x)예요.
4. 원래 x는 그대로 남고, 부품은 고칠 만큼만 조금 보태요. 그러니 처음 정보가 지워지지 않아요.
5. 그림으로 보면, 원래 정보는 고속도로를 곧게 달리고, 부품들은 옆길에서 계산한 결과를 보태요.
6. 학습할 때도 좋아요. 틀린 만큼 고치라는 신호가 고속도로를 타고 맨 앞 층까지 잘 전달돼요(23장).
7. 결과를 원래 값에 더하는 이 길을 잔차 연결이라고 해요. 부품은 '고칠 차이'만 맡으면 돼요.

한 장 요약

• 층마다 벡터를 통째로 바꾸면 처음 정보가 흐려진다. 말 전달 게임처럼.
• 잔차 연결: 내보내는 값 = x + f(x). 원래 정보는 고속도로로, 부품은 고칠 차이만 보탠다.
• 고칠 신호도 고속도로를 타고 앞 층까지 잘 전달돼서 깊이 쌓을 수 있다.