AI 해부교실 · Part 5 어텐션 완전 정복

44장 Attention Is All You Need

Q. ChatGPT의 뼈대가 된 논문은 왜 '어텐션만 있으면 된다'고 했을까요?

  1. 2017년, 구글에서 함께 연구한 8명이 논문을 냈어요. 제목은 'Attention Is All You Need', 어텐션만 있으면 된다.
  2. 저자 8명의 이름이에요. 논문 각주에는 '저자 순서는 무작위'라고 적혀 있어요. 모두 똑같이 기여했다는 뜻이에요.
  3. 그 무렵 번역기의 주인공은 RNN이었어요(40장). 단어를 하나씩 차례로 읽어서, 앞 칸이 끝나야 다음 칸을 계산했죠.
  4. 43장의 어텐션은 RNN을 돕는 도우미였어요. 이 논문은 거꾸로 물었어요. RNN을 빼고 어텐션만 남기면 어떨까?
  5. 그러면 앞 칸을 기다릴 필요가 없어요. 모든 단어가 동시에 서로를 쳐다보니까 GPU가 한꺼번에 계산해요(41장).
  6. 이렇게 만든 모델이 트랜스포머예요. 번역 시험에서 그때까지의 최고 점수를 넘었고, 학습 시간도 훨씬 짧았어요.
  7. GPT도 이 트랜스포머로 만들었어요. GPT의 T가 바로 Transformer예요. 2018년 GPT-1부터 ChatGPT까지요.
  8. 이번 Part에서는 이 논문의 심장인 어텐션을 하나씩 뜯어봐요. 먼저 45장, 단어들이 서로를 쳐다보는 모습부터요.

한 장 요약