AI解剖教室 · Part 11 卒業プロジェクト
第95章 文章を生成してみる
Q. 自分で訓練したモデルは、どんな文章を書くのでしょう？
- いよいよモデルに文章を書かせます。やり方は第2章と同じ。次のトークンを1つ選んでつなげ、改行が出るまでくり返します。
- 「石」の次のトークンの確率は、の57%、二32%、橋8%。データの中の「石の上」「一石二鳥」「石橋」を学んだのです。
- 温度を下げると（第81章）1位がさらに大きくなります。温度0.3では「の」が87%で、5回書いて5回とも同じ文になりました。
- でも「石の上には上がある」はデータにない文です。2つのことわざをつなぎ合わせて、それらしく作ったのです。
- 温度を上げると、低い棒もよく選ばれます。温度1.6では文が毎回ちがい、でたらめもまじります。
- 教科書の文のモデルは「四角形は辺が三つある図形である。」と書きました。もっともらしいまちがい、ハルシネーションです（第84章）。
- 小さくても、ChatGPTが文章を書くやり方そのものです。「やってみよう」で書き出しと温度を変えながら書かせてみましょう。
この章のまとめ
- 生成 = 確率を出す → 1つ選ぶ → つなげる。改行が出たら止まる。
- 温度を下げるとぶれずに覚えた言葉、上げると多様だがでたらめも。
- もっともらしい組み合わせが事実とちがえばハルシネーション。小さなモデルも同じ。