AI 해부교실 · Part 6 트랜스포머 조립하기

57장 흔들림 잡기

Q. 결과를 계속 더하면, 96층쯤엔 숫자가 엄청 커지지 않을까요?

  1. 56장에서 결과를 계속 더한다고 했죠. 층을 지나며 더하다 보면 벡터의 숫자가 점점 커져요.
  2. 같은 '학교에'인데 층마다 크기가 이렇게 다르면, 부품은 매번 다른 잣대로 계산해야 해요. 계산이 흔들리죠.
  3. 그래서 부품에 넣기 직전에 15장의 정규화를 해요. 단어 벡터 하나 안의 숫자들로 평균과 퍼진 정도를 구해요.
  4. 평균 10을 빼고 퍼진 정도 5로 나누면 이렇게 돼요. 4배로 커진 벡터도 똑같은 결과가 나와요.
  5. 이 계산은 단어마다 따로 해요. 각 단어가 자기 숫자 12,288개끼리만 평균과 퍼진 정도를 구해요.
  6. 마지막으로 숫자마다 배율을 곱하고 값을 더해요. 이 값은 학습으로 정해서, 알맞은 크기를 모델이 골라요.
  7. GPT에서는 어텐션과 피드포워드에 들어가기 직전마다 정규화해요. 고속도로 위의 원래 값은 그대로 두고요.

한 장 요약