AI解剖教室 · Part 9 答えが生まれる瞬間

第81章創造性のダイヤル

Q. AIの「創造性」を、数字ひとつで調節できるのでしょうか？

第14章でスコア3、2、1、−1をソフトマックスに入れると「行く」は65.7%でした。ここにダイヤルをつけてみます。
このダイヤルが温度（temperature）です。スコアを温度で割ってからソフトマックスに入れます。温度が1ならそのままです。
温度を0.5に下げると、スコアは6、4、2、−2。差が2倍に広がり、「行く」は86.7%。ぐっととがった形になります。
温度を2に上げると、スコアは1.5、1、0.5、−0.5。差が縮んで分布が平らになり、ピザも6.4%になります。
端まで回すと？温度が0に近いと1位だけが残ってグリーディ（第80章）になり、とても高いと全部の候補が同じくらいになります。
おもちゃのモデルで文を書くと、温度0.2では同じ言葉をぐるぐる回り、1では自然で、2ではへんてこになります。
正確な答えには低い温度、新しいアイデアには高い温度が向いています。温度は知識を変えず、確率だけを配り直します。

この章のまとめ

温度：スコアを温度で割ってからソフトマックスに入れる。
温度が低いととがって1位がひとり占め、高いと平らになっていろいろ選ばれる。
低い温度はぶれず、高い温度は多様になる。モデルの知識はそのまま。