AI解剖教室 · Part 9 答えが生まれる瞬間

第82章 候補をしぼる

Q. ルーレットに「ピザ」のマスがあったら、いつか本当に「ピザ」が選ばれてしまうのでは？

1. サンプリングには落とし穴があります。候補は何万個もあるので、小さな棒も全部集めると、しっぽがけっこう太くなります。
2. しっぽが3%だけでも、100かけらの答えを書けば、どこかで一度はへんてこな言葉がまじる確率が95%にもなります。
3. だからしっぽを切ります。1つめはTop-k。確率の高い順に、上からk個だけ残します。kが3なら、残るのは3つです。
4. 残った85%を配り直して、合計を1にそろえます。行く61.2%、行った24.7%、遅れた14.1%。それからルーレットを回します。
5. 2つめはTop-p。上から確率を足していき、p、たとえば90%をこえた瞬間に止めて、残りを切ります。
6. Top-kはいつも3つ残しますが、Top-pはモデルに自信があれば1つ、迷っていれば6つのように、状況に合わせて残します。
7. まとめると、スコアを温度で割り、ソフトマックスで確率にし、しっぽを切り、ルーレットを回す。これがかけら1つが選ばれる道です。

この章のまとめ

• 候補は何万個もあるので、小さなしっぽも集まると、へんてこな言葉が選ばれることがある。
• Top-kは上からk個だけ、Top-pは上から足してpをこえるまで残す。
• 切ったあと、残ったものどうしで配り直して合計を1にし、ルーレットを回す。