AI 해부교실 · Part 3 글자를 숫자로

33장 임베딩: 의미의 좌표

Q. '강아지'와 '고양이'가 닮았다는 걸, 숫자로 어떻게 나타낼까요?

1. 원-핫 대신 단어마다 짧은 숫자 줄을 줘요. 강아지는 [0.8, 0.7, −0.2]. 단어를 이런 숫자 줄로 바꾸는 게 임베딩이에요.
2. 숫자가 세 개면 3D 공간의 점 하나가 돼요. 단어들이 별자리처럼 공간에 떠 있어요.
3. 뜻이 비슷한 단어는 가까이 모여요. 동물은 동물끼리, 과일은 과일끼리. 8장의 단어 지도를 3D로 띄운 셈이에요.
4. 닮은 정도는 내적으로 잴 수 있어요(9장). 강아지·고양이는 1.11, 강아지·버스는 −0.58. 방향이 같을수록 커요.
5. 모델 안에는 임베딩 표가 있어요. 한 줄이 토큰 하나예요. 토큰 번호로 그 줄을 찾아 꺼내 쓰면 돼요.
6. 처음엔 표에 숫자가 아무렇게나 들어 있어요. 다음 조각 맞히기를 학습하면서 비슷한 단어끼리 자리를 찾아가요.
7. 진짜 크기는요? GPT-3는 토큰마다 숫자가 12,288개, 줄은 약 5만 개. 이 표에만 숫자가 6억 개 넘게 들어 있어요.
8. 토큰을 의미의 좌표로 바꾸는 임베딩, 설계도의 두 번째 부품이 채워졌어요. 다음 장에선 좌표가 뜻을 얻는 방법을 봐요.

한 장 요약

• 임베딩: 토큰마다 짧은 숫자 줄(벡터)을 주는 것. 숫자들이 곧 좌표.
• 뜻이 비슷한 단어는 가까이, 같은 방향으로 놓인다(거리 8장, 내적 9장).
• 임베딩 표의 숫자는 학습으로 정해진다. GPT-3 표에는 숫자 6억 개 이상.