AI 해부교실 · Part 6 트랜스포머 조립하기

59장 인코더 vs 디코더

Q. ChatGPT의 'GPT'와 구글의 'BERT', 둘 다 트랜스포머인데 뭐가 다를까요?

1. 2017년 처음 나온 트랜스포머는 번역기였어요. 원문을 읽는 인코더와 번역문을 쓰는 디코더로 되어 있었죠(44장).
2. 2018년에는 둘 중 한쪽만 떼어 쓴 모델이 나왔어요. 인코더만 쌓은 BERT와 디코더만 쌓은 GPT예요.
3. BERT는 문장 전체를 양쪽에서 봐요. 중간 단어를 가려 놓고, 앞뒤 단어로 빈칸을 맞히는 연습을 해요.
4. GPT는 앞 단어만 봐요. 51장의 가림막으로 미래를 가린 채, 다음 단어를 맞히는 연습을 해요.
5. 어텐션 표로 보면 BERT는 모든 칸이 열려 있고, GPT는 대각선과 그 아래 삼각형만 열려 있어요.
6. 그래서 BERT는 문장을 이해하는 일에, GPT는 글을 한 단어씩 이어 쓰는 일에 강해요.
7. ChatGPT는 디코더 블록만 쌓은 GPT예요. 54장부터 조립한 블록이 바로 이 디코더 블록이에요.

한 장 요약

• 원래 트랜스포머(2017)는 인코더 + 디코더로 된 번역기였다.
• BERT = 인코더만 쌓음: 양쪽을 다 보고 빈칸 맞히기. 문장 이해에 강하다.
• GPT = 디코더만 쌓음: 앞만 보고(가림막) 다음 단어 맞히기. 글 이어 쓰기에 강하다. ChatGPT도 이쪽.