AI解剖教室 · Part 4 トランスフォーマー以前の物語
第39章 ニューラル言語モデル
Q. 一度も見たことがない文なのに、AIはどうやって次の語を見当づけるのでしょう？
- n-gramは「猫が」の次はたくさん数えていても、「犬が」を一度も見ていなければ、次の語がまったくわかりません。0回だからです。
- 2003年、ベンジオ(Bengio)の研究チームが新しい方法を出しました。ニューラルネットで次の語を当てる、ニューラル言語モデルです。
- まず、語ごとに数のベクトルをあげます。第33章の埋め込みです。似た使われ方をする語は、近い場所に置かれます。
- 前の3語のベクトルをつなげて、ニューラルネットに入れます。Part 2のニューロンの層を通ると、候補の語ごとにスコアが出ます。
- スコアはソフトマックス(第14章)で確率になります。行く65.7%、行った24.2%、遅れた8.9%、ピザ1.2%。
- 犬のベクトルは猫のベクトルと近いので、ニューラルネットを通っても似た答えが出ます。はじめて見る文も見当がつくのです。
- 学習では、ネットの重みと語のベクトルをいっしょに直します。10年後のWord2Vec(第34章)は、このベクトル作りだけに集中しました。
- それでも限界があります。やはり前の数語だけを見る、決まった大きさの窓なのです。文全体を見るには？ 第40章で見てみましょう。
この章のまとめ
- 2003年のニューラル言語モデル：語のベクトル(埋め込み) + ニューラルネットで次の語を予測。
- 似た語 ＝ 近いベクトルなので、はじめて見る文もそれらしく見当をつける。
- 学習すると語のベクトルもいっしょにみがかれる。限界：やはり前の数語だけを見る窓。