AI解剖教室 · Part 4 トランスフォーマー以前の物語

第38章 直前の数語だけを見る

Q. 昔のAIは「次の語の確率」をどうやって求めていたのでしょう？

1. 確率を求めるいちばん簡単な方法は、数えることです。まず、文をたくさん集めたノート、コーパス(corpus)が必要です。
2. 「私は 今日 学校に」の次を数えるには、この3語がまるごと出てこないといけません。たった1回だけで、「猫は 今日 学校に」は0回です。
3. そこで工夫します。直前の1語だけを見るのです。「学校に」の次に何が来たかだけを数えればいいのです。
4. 「学校に」の次は「行く」が3回、「遅れた」が1回。だから「行く」は4回中3回で、75%です。
5. すべての語についてこう数えると、ペアの回数表ができます。直前の数語だけを見るこの方法を、n-gramと呼びます。
6. この表だけを見て、文を作ってみましょう。1948年にシャノンも、こうして英語の文を作ってみました。
7. ペアどうしはどれも自然なのに、文は変ですね。直前の1語しか見ないので、主人公が猫だったことを忘れたのです。
8. もっと前まで見たらどうでしょう？ 長い語の並びほどコーパスにほとんどなく、0回になります。これを第39章のニューラルネットが解きます。

この章のまとめ

• n-gram：直前の数語だけを見て、コーパスで次の語を数えて確率を決める。
• ペアどうしは自然でも、前の内容を忘れるので、文全体はおかしくなりやすい。
• 前を長く見ると、そんな語の並びはコーパスにほとんどなく、0回になる。