AI 해부교실 · Part 4 트랜스포머 이전 이야기

40장 RNN: 쪽지 릴레이

Q. 문장 길이는 제각각인데, AI는 앞 내용을 어떻게 기억하며 읽을까요?

1. 39장의 신경망은 앞 세 단어만 봤어요. 문장 길이는 제각각인데요. 그래서 나온 생각: 한 단어씩 읽으며 쪽지에 적어 넘기자!
2. 칸마다 단어가 하나씩 있어요. 각 칸은 앞 칸이 준 쪽지를 받아, 지금 단어를 보고 고쳐 써서 다음 칸에 넘겨요.
3. '어제'는 '때' 칸에, '나는'은 '누가' 칸에, '학교에'는 '어디' 칸에 적어요. 앞 내용은 조금 옅게 옮겨 적고요.
4. 고쳐 쓰는 규칙은 모든 칸이 똑같아요. 옛 쪽지에 0.8을 곱하고 지금 단어를 더한 뒤, −1과 1 사이로 눌러 줘요.
5. 마지막 쪽지만 보고 다음 단어를 맞혀요. 쪽지에 '어제'가 남아 있으니 '갔다'가 70%예요. 이 쪽지를 은닉 상태라고 불러요.
6. 첫 단어만 '내일'로 바꾸면 이번엔 '갈 거야'가 70%예요. 맨 앞 단어가 쪽지를 타고 끝까지 전해진 거예요.
7. 펼치면 릴레이, 접으면 같은 기계가 빙글빙글 도는 고리예요. 그래서 이름이 순환 신경망, RNN이에요. 문장이 길어도 괜찮아요.

한 장 요약

• RNN: 한 단어씩 읽으며 쪽지(은닉 상태)를 고쳐 써서 다음 칸에 넘긴다.
• 모든 칸이 같은 규칙(같은 가중치)을 쓴다. 그래서 문장 길이가 달라도 된다.
• 마지막 쪽지로 다음 단어를 맞힌다. 맨 앞 단어도 쪽지를 타고 끝까지 간다.