AI 해부교실 · Part 3 글자를 숫자로

34장 주변 단어가 의미를 알려준다

Q. 아무도 뜻을 가르쳐 주지 않았는데, AI는 '커피'와 '녹차'가 비슷하다는 걸 어떻게 알까요?

1. '어제 카페에서 따뜻한 ○○를 마셨다.' 빈칸에 뭐가 들어갈까요? 처음 보는 문장이어도 주변 단어만 보면 짐작이 가죠.
2. 커피, 녹차, 코코아처럼 같은 자리에 오는 단어는 뜻도 비슷해요. 단어의 뜻은 주변 단어가 알려 준다. 이걸 분포 가설이라고 해요.
3. 2013년에 나온 Word2Vec은 이 생각을 학습으로 바꿨어요. 단어 하나를 보고 주변 단어를 맞히는 연습을 엄청 많이 시켜요.
4. 연습을 마치면 주변이 비슷한 단어끼리 벡터가 가까워져요. 아무도 뜻을 알려 주지 않았는데 말이에요.
5. 놀랍게도 방향에도 뜻이 담겨요. 남자에서 여자로 가는 화살표와 왕에서 여왕으로 가는 화살표가 거의 같아요.
6. 그래서 왕 − 남자 + 여자를 계산하면 여왕 바로 옆에 도착해요. (7, 2.5) − (2, 2) + (2, 5) = (7, 5.5).
7. 서울 − 한국 + 일본 ≈ 도쿄도 돼요. 진짜 Word2Vec은 수백 차원이라 늘 이렇게 딱 맞진 않아요. 이 지도는 설명용 예시예요.
8. 단어의 뜻은 주변 단어가 알려 준다. GPT의 임베딩도 다음 조각을 맞히면서 같은 식으로 뜻을 배워요.

한 장 요약

• 분포 가설: 같은 자리(주변 단어)에 오는 단어는 뜻도 비슷하다.
• Word2Vec(2013): 주변 단어 맞히기 연습으로 단어 벡터를 만든다.
• 방향에도 뜻이 담긴다: 왕 − 남자 + 여자 ≈ 여왕.