AI 해부교실 · Part 5 어텐션 완전 정복

45장 단어들이 서로를 쳐다본다

Q. '배'는 먹는 배일까, 타는 배일까? AI는 어떻게 구별할까요?

1. '배'라는 말에는 뜻이 여러 개예요. 먹는 과일 배, 타는 배, 그리고 우리 몸의 배.
2. 33장에서 배운 임베딩에서 '배'는 늘 같은 벡터 하나예요. 그래서 혼자서는 세 뜻의 한가운데쯤에 있어요.
3. 이제 문장 속에 넣어 볼게요. '바다 위에 떠 있는 배'.
4. '배'가 앞에 있는 단어들을 둘러봐요. 관련이 깊은 단어일수록 굵은 선으로, 더 많이 쳐다봐요.
5. 그리고 쳐다본 만큼 그 단어들의 의미를 섞어 와요. '바다'와 '떠'를 많이 섞었더니 타는 배 쪽으로 움직였어요.
6. 문장이 바뀌면 어떨까요? '과일 가게에서 사과와 배'. 이번엔 과일과 사과를 많이 보고, 과일 배 쪽으로 가요.
7. 이렇게 각 단어가 문장 속 다른 단어를 보고 자기 의미를 고치는 것. 이게 셀프 어텐션이에요.
8. 그런데 얼마나 관련 있는지는 어떻게 정할까요? 다음 장에서 Query, Key, Value로 알아봐요.

한 장 요약

• 같은 단어도 문맥에 따라 뜻이 다르다.
• 각 단어는 앞 단어들을 보고, 관련 깊은 단어를 더 많이 쳐다본다.
• 쳐다본 만큼 의미를 섞어 자기 의미를 고친다. 이게 셀프 어텐션.