AI 해부교실 · Part 6 트랜스포머 조립하기

55장 생각하는 층

Q. 어텐션으로 단어끼리 정보를 나눴어요. 그다음, 각 단어는 무엇을 할까요?

1. 어텐션으로 단어들이 서로의 의미를 섞었어요. 이제 블록의 두 번째 부품, 피드포워드 차례예요.
2. 피드포워드는 단어마다 따로 통과하는 작은 신경망이에요(18장). 모든 단어가 똑같은 기계를 써요.
3. 안에서는 숫자 4개가 16개로 4배 넓어졌다가 다시 4개로 줄어요. 넓은 층에서는 GELU로 꺾어요(17장).
4. 넓은 층의 뉴런은 저마다 어떤 패턴에 반응해요. 이 뉴런은 '장소 + 에'를 보면 켜진다고 해 볼게요.
5. 켜진 뉴런들이 낸 결과를 원래 벡터에 더해요. 이렇게 단어마다 지식이 덧붙어요.
6. GPT-3에서는 숫자 12,288개가 49,152개로 넓어졌다가 다시 12,288개로 돌아와요. 똑같이 4배예요.
7. GPT-3 숫자 1,750억 개 중 약 3분의 2가 피드포워드에 있어요. 배운 지식의 창고인 셈이에요.
8. 어텐션은 단어끼리 대화, 피드포워드는 단어 혼자 생각. 설계도에 피드포워드가 채워졌어요!

한 장 요약

• 피드포워드: 단어마다 따로 통과하는 작은 신경망. 모든 단어가 같은 기계를 쓴다.
• 4배로 넓혔다가(GELU로 꺾고) 다시 줄인다. GPT-3: 12,288 → 49,152 → 12,288.
• 결과를 원래 벡터에 더해 지식을 덧붙인다. 모델 숫자의 약 3분의 2가 여기 있다.