AI 해부교실 · Part 4 트랜스포머 이전 이야기

41장 RNN의 한계

Q. 쪽지 릴레이가 그렇게 좋다면, 왜 ChatGPT는 RNN을 안 쓸까요?

  1. 이번엔 긴 문장이에요. '어제 나는 친구와 함께 … 학교에' 다음은 '갔다'여야 해요. 맨 앞의 '어제' 때문이죠.
  2. 쪽지를 한 칸씩 넘길 때마다 '어제'는 조금씩 옅어져요. 11칸을 지나니 글씨가 거의 안 보여요.
  3. 그래서 마지막 쪽지만 본 RNN은 '간다'를 골라요. 멀리 떨어진 단어 사이의 관계, 장기 의존성을 놓친 거예요.
  4. 학습할 때도 문제예요. 오차의 책임(23장)을 거꾸로 전할 때도 칸마다 줄어서, 10칸 앞에선 0.11배뿐이에요.
  5. 1997년 LSTM은 쪽지에 보관함과 문을 달아, 중요한 내용은 덜 흐려지게 지켰어요. 그래도 아주 긴 글에선 결국 흐려져요.
  6. 두 번째 문제는 줄 서기예요. 2번 칸은 1번 칸의 쪽지가 와야 시작해요. 나머지 GPU는 차례를 기다리며 놀고 있어요.
  7. GPU는 많은 계산을 동시에 하는 게 특기예요(68장). 그런데 단어가 1,000개면 1,000번을 차례로 해야 해요.
  8. 정리하면 RNN은 쪽지가 흐려지고, 줄 서서 기다려요. 트랜스포머가 둘 다 풀어요(Part 5). 그 전에 42장 번역기부터 봐요.

한 장 요약