AI 해부교실 · Part 4 트랜스포머 이전 이야기

39장 신경망 언어 모델

Q. 한 번도 본 적 없는 문장인데, AI는 어떻게 다음 단어를 짐작할까요?

  1. n-gram은 '고양이가' 뒤는 많이 세어 봤어도, '강아지가'를 한 번도 못 봤다면 다음 단어를 전혀 몰라요. 0번이니까요.
  2. 2003년, 벤지오(Bengio) 연구팀이 새 방법을 내놓았어요. 신경망으로 다음 단어를 맞히는 신경망 언어 모델이에요.
  3. 먼저 단어마다 숫자 벡터를 줘요. 33장의 임베딩이에요. 비슷하게 쓰이는 단어는 가까운 자리에 놓여요.
  4. 앞 단어 세 개의 벡터를 이어 붙여 신경망에 넣어요. Part 2의 뉴런 층을 지나면 후보 단어마다 점수가 나와요.
  5. 점수는 소프트맥스(14장)로 확률이 돼요. 간다 65.7%, 갔다 24.2%, 늦었다 8.9%, 피자 1.2%.
  6. 강아지 벡터는 고양이 벡터와 가까워서, 신경망을 지나도 비슷한 답이 나와요. 처음 보는 문장도 짐작할 수 있죠.
  7. 학습할 때는 신경망의 가중치와 단어 벡터를 함께 고쳐요. 10년 뒤 Word2Vec(34장)은 이 벡터 만들기에만 집중했어요.
  8. 그래도 한계가 있어요. 여전히 앞 몇 단어만 보는 고정된 창이에요. 문장 전체를 보려면? 40장에서 알아봐요.

한 장 요약