AI 해부교실 · Part 6 트랜스포머 조립하기

58장 블록을 쌓으면

Q. 블록 하나로도 돌아가는데, 왜 96개나 쌓을까요?

1. 블록은 들어간 모양 그대로 나와요. 그래서 레고처럼 그 밑에 블록을 계속 이어 붙일 수 있어요.
2. GPT-1은 12층, GPT-2는 48층, GPT-3는 96층이에요. 똑같은 블록 설계를 반복해 쌓았어요.
3. 모양은 같아도 층마다 안의 숫자는 달라요. 그래서 층마다 맡는 일도 조금씩 달라져요.
4. 얕은 층은 주로 단어 생김새와 바로 옆 단어를, 중간 층은 문장 속 역할과 관계를 다뤄요.
5. 깊은 층일수록 문장 전체의 뜻과 다음에 올 말을 다뤄요. 같은 '학교에'에 정보가 차곡차곡 쌓이죠.
6. 층마다 다음 말을 미리 들여다보면, 깊어질수록 '간다'의 확률이 점점 올라가요.
7. GPT-3 블록 한 층에는 숫자가 약 18억 개. 96층을 합치면 약 1,740억 개로, 1,750억 개의 거의 전부예요.
8. 이렇게 깊이 쌓을 수 있는 건 고속도로와 정규화 덕분이에요. 다음 장에선 블록을 쓰는 두 방식을 봐요.

한 장 요약

• 블록은 들어간 모양 그대로 나와서 계속 쌓을 수 있다. GPT-1 12층, GPT-2 48층, GPT-3 96층.
• 설계는 같아도 층마다 숫자가 달라서, 얕은 층과 깊은 층이 맡는 일이 다르다.
• 깊이 갈수록 단어 벡터에 문맥과 다음 말의 정보가 쌓인다. GPT-3 숫자의 거의 전부가 블록에 있다.