AI解剖教室 · Part 0 ChatGPT、きみは誰？

第2章 一語ずつ書いていくAI

Q. ChatGPTの答えは、なぜタイピングするように少しずつ出てくるのでしょう？

1. 質問を送ると、答えがひとかけらずつ出てきますよね。演出ではなく、本当にひとかけらずつ作っているからです。
2. 機械の中はこうです。質問とここまで書いた答え、つまり文章全体がモデルに入ると、次のかけらが1つ出てきます。
3. 出たかけらは文章の最後につながり、長くなった文章がまたモデルに入ります。自分の書いたものを読み直して続けるこの方式を、自己回帰といいます。
4. では、いつ止まるのでしょう？「もうおわり」を意味する特別なかけらが選ばれると止まります。これを終了トークンといいます。
5. 答えが9かけらなら、モデルを9回動かしたということ。100かけらなら100回です。だから答えが長いほど時間がかかります。
6. そして、一度つなげたかけらは消しません。前でまちがえたら、直す言葉も後ろに続けて書くしかありません。
7. 同じ質問でも毎回少しずつ答えがちがうのは、かけらを確率にしたがって選ぶからです。第81章でくわしく扱います。

この章のまとめ

• 文章全体を入れると、次のかけらが1つ出てくる。
• 出たかけらをつなげて、また入れる。終了トークンが出るまで。
• かけらの数だけモデルを動かし、つなげたかけらは消さない。