AI 해부교실 · Part 3 글자를 숫자로

36장 순서는 어떻게 알까

Q. '10시 11분'과 '11시 10분'은 조각이 똑같은데, AI는 둘이 다르다는 걸 어떻게 알까요?

1. '개가 사람을 물었다'와 '사람을 개가 물었다'. 순서는 달라도 뜻은 같아요. 조사 '가'와 '을'이 누가 했는지 알려 주거든요.
2. 그런데 '10시 11분'과 '11시 10분'은 조각이 똑같은데 순서만 바뀌어서 뜻이 달라요. 순서도 정보예요.
3. 어텐션(45장)은 모든 조각을 한꺼번에 보고 섞어요. 위치 정보가 없으면 두 문장이 같은 조각 주머니처럼 보여요.
4. 그래서 조각 벡터에 몇 번째인지 알려 주는 숫자를 더해요. 그런데 1, 2, 3을 그대로 더하면 2,000번째 조각은 뜻이 묻혀요.
5. 원래 트랜스포머(2017)는 사인파를 썼어요. 빠르기가 다른 물결에서 그 자리의 높이를 읽어요. 값은 늘 −1과 1 사이예요.
6. 시계의 빠른 바늘과 느린 바늘을 함께 보면 시각을 알 수 있죠. 물결도 그래요. 자리마다 무늬가 모두 달라요.
7. 이 무늬를 조각 벡터에 더해요. 그러면 같은 '10'이라도 0번 자리와 3번 자리의 벡터가 달라져서 순서가 담겨요.
8. 글자, 토큰, 번호, 임베딩, 위치 정보. 이제 글이 모델이 계산할 수 있는 숫자가 됐어요. Part 3 끝, 다음은 Part 4예요.

한 장 요약

• 같은 조각도 순서가 바뀌면 뜻이 바뀐다(10시 11분 ≠ 11시 10분). 한국어는 조사도 역할을 알려 준다.
• 위치 정보: 조각 벡터에 '몇 번째인지'를 나타내는 무늬를 더한다.
• 무늬는 빠르기가 다른 사인파로 만든다(2017). 값은 −1~1, 자리마다 다르다.