AI解剖教室 · Part 4 トランスフォーマー以前の物語

第37章言語モデル = 文の確率

Q. AIは、ある文が「自然だ」ということを、どうやって知るのでしょう？

2つの文を見てみましょう。「私は今日学校に行く」と「私は今日学校にピザ」。どちらが自然でしょう？
言語モデルは、文ごとに「どれくらい出てきそうか」を確率でつける機械です。ChatGPTも言語モデルです。
でも、文を丸ごと数えるのは大変です。はじめて見る文が多すぎるからです。そこで1語ずつに分けます。
最初の語が「私は」である確率、そのあとに「今日」が来る確率…。前の語を見て、次の語の確率を1つずつ求めます。
この確率を順番にかけると、文の確率になります。20% × 25% × 10% × 52% = 0.26%。
「ピザ」の文は最後だけ1%なので0.005%。前は同じなのに、最後の1語のせいで52倍もちがいます。
だから、次の語をうまく当てるモデルは、文の確率もうまくつけられます。第1章の「次の言葉当て」がまさにこれです。
では、この確率はどこから求めるのでしょう？いちばん簡単なのは数えること。第38章で実際に数えてみます。

この章のまとめ

言語モデル：文がどれくらい出てきそうかを確率でつける機械。
文の確率＝前の語を見て求めた、次の語の確率を順番にかけたもの。
次の語をうまく当てるモデル＝文の確率をうまくつけるモデル(第1章)。