AI 해부교실 · Part 4 트랜스포머 이전 이야기

43장 어텐션의 탄생

Q. 번역하다가 원문을 다시 쳐다볼 수 있다면, AI 번역은 얼마나 좋아질까요?

  1. 42장의 병목을 풀려고, 2014년 바흐다나우(Bahdanau) 연구팀은 생각을 바꿨어요. 마지막 쪽지만 말고 모든 쪽지를 남기자!
  2. 디코더가 'I'를 쓸 때, 남겨 둔 쪽지들을 훑어보고 지금 필요한 곳에 스포트라이트를 비춰요. '나는'이 84%예요.
  3. 다음 'go'를 쓸 땐 스포트라이트가 맨 끝의 '간다'로 건너뛰어요. 두 언어의 순서가 달라도 문제없어요.
  4. 'to'와 'school'은 '학교에'를, 'today'는 '오늘'을 비춰요. 쓰는 단어마다 바라보는 곳이 달라요.
  5. 비추는 비율은 관련도 점수를 소프트맥스(14장)로 바꿔 정해요. 그 비율대로 쪽지들을 섞어 디코더에 건네요.
  6. 어디를 봤는지 표로 그리면 엇갈린 줄이 보여요. 단어 짝을 찾아 맞춘다고 해서 정렬(alignment)이라고 불러요.
  7. Part 4를 정리해 볼까요? 세어 보기(n-gram), 신경망과 단어 벡터, 쪽지 릴레이(RNN), 그리고 어텐션까지 왔어요.
  8. 그리고 2017년, 이런 질문이 나와요. 쪽지 릴레이는 빼고, 아예 어텐션만으로 만들면 어떨까? Part 5에서 만나요.

한 장 요약