AI 해부교실 · Part 3 글자를 숫자로

35장 임베딩 우주 탐험

Q. 단어 지도에서 '강아지' 옆엔 누가 살고, '배'는 어디쯤 있을까요?

  1. 지금까지 만든 임베딩 우주를 탐험해 봐요. 단어 31개를 2D 지도에 펼쳐 놨어요. 자리는 설명용 예시예요.
  2. '강아지'를 검색하면 가까운 단어부터 불이 켜져요. 토끼, 고양이, 햄스터… 모두 동물이에요.
  3. 가까운 순서는 거리로 매겼어요(8장). 실제 AI 검색은 방향이 얼마나 같은지, 그러니까 내적(9장)을 많이 써요.
  4. 이상한 하나 찾기도 할 수 있어요. 사과, 포도, 딸기, 버스. 버스만 혼자 멀리 떨어져 있죠.
  5. 그런데 '배'는 어디 있을까요? 과일 무리와 탈것 무리, 몸 무리 사이에 끼어 있어요. 뜻이 여러 개라서요.
  6. 단어 하나에 자리가 하나뿐이라, 어떤 배인지는 문장을 봐야 알아요. 이 문제는 45장 어텐션이 풀어요.
  7. 진짜 임베딩은 GPT-3 기준 12,288차원이에요. 이 지도는 그걸 2D로 눌러 그린 그림자라 조금씩 틀어져 있어요.
  8. 임베딩 우주에선 가까우면 닮았고, 방향은 관계를 나타내요. 이제 단어가 뜻이 담긴 숫자가 됐어요.

한 장 요약