AI解剖教室 · Part 1 AIの言葉は数字

第14章 スコアを確率に：ソフトマックス

Q. モデルがつけた点数は、マイナスにもなるし合計もばらばら。どうやって確率に変えるのでしょう？

1. モデルは次の言葉の候補ごとに点数をつけます。点数は3にもなれば、−1のようなマイナスにもなります。
2. でも確率は0より小さくてはいけないし、全部足すと1にならなければいけません。いまはマイナスもあり、合計も5です。
3. 1つ目のステップ。eを「点数」乗します。eは約2.718という数。こうすると、すべての値がプラスになります。
4. おまけに、大きい点数はずっと大きくなります。3点は2点の1.5倍でしたが、変えたあとは約2.7倍になりました。
5. 2つ目のステップ。変えた値を全部足すと30.56です。それぞれの値を、この合計で割ります。
6. すると確率が出ます。行く65.7%、行った24.2%、遅れた8.9%、ピザ1.2%。全部足すとぴったり100%です。
7. この2つのステップをまとめた計算がソフトマックスです。第45章のアテンションでまた出てくるので、ぜひ覚えておきましょう。

この章のまとめ

• 点数（ロジット）はマイナスにもなり、合計もばらばら。
• ① eで持ち上げると全部プラスになり、大きい点数はもっと大きくなる。
• ② 合計で割ると確率になる。この2ステップがソフトマックス。