AI 해부교실 · Part 1 AI의 언어는 숫자

11장 행렬 곱 = 공간 변환

Q. 행렬을 벡터에 곱하면 무슨 일이 일어날까요?

1. 행렬에 벡터를 곱해 볼게요. 곱하면 새로운 벡터가 나와요.
2. 계산은 9장의 내적으로 해요. 행렬의 첫째 행과 벡터를 내적하면 결과의 첫째 칸, 둘째 행과 내적하면 둘째 칸이에요.
3. 그림으로 보면 이래요. 모눈종이의 모든 점에 같은 행렬을 곱하면, 공간 전체가 옆으로 늘어나요.
4. 행렬을 바꾸면 변하는 모양도 바뀌어요. 공간을 돌리기도 하고, 비스듬히 밀기도 해요.
5. 어떤 행렬이든 곧은 선은 곧게 남고, 원점은 제자리예요. 이런 변환을 선형 변환이라고 해요.
6. GPT는 단어 벡터에 행렬을 곱해서 뜻의 공간을 이리저리 바꿔요. 어텐션의 Query, Key, Value도 행렬 곱으로 만들어요.
7. 행렬 곱은 공간을 바꾸는 기계. 이 기계 속 숫자를 정하는 게 바로 AI의 학습이에요.

한 장 요약

• 행렬 × 벡터 = 새 벡터. 각 칸은 '행렬의 행 · 벡터' 내적.
• 모든 점에 같은 행렬을 곱하면 공간이 늘어나고, 돌고, 밀린다.
• 곧은 선은 곧게, 원점은 제자리(선형 변환). GPT의 층도 행렬 곱.