AI解剖教室 · Part 8 ChatGPTの誕生

第77章 会話は実は長い文書

Q. ChatGPTは、自分が言ったことと私が言ったことを、どうやって見分けているのでしょう？

1. チャット画面では吹き出しが行き来します。私が聞いて、ChatGPTが答えて、私がまた聞きます。
2. でもモデルに入るときは、吹き出しはありません。会話全体がつなげられて、1つの長い文章になります。
3. だれの言葉かわかるように、特別な目印のトークンをはさみます。「ここからユーザー」「ここからアシスタント」のような目印です。
4. いちばん前には、ユーザーには見えないシステムプロンプト（system prompt）がつきます。モデルが守る役割と話し方を書いておくのです。
5. たとえばこんな形です。目印の見た目は会社やモデルごとにちがいますが、考え方は同じです。
6. 文章の最後には「アシスタントの番」の目印だけを置いて、空けておきます。するとモデルは第1章のように次のかけらを予測して続けるだけです。
7. 書き終えると終わりの目印を出して止まります（第2章）。第73章のお手本もこの形で学ぶので、この場所では答えが出てきます。
8. 会話が長くなるほど、この文書も長くなります。モデルは毎回、前の会話を全部読み直します。第83章でまた見ます。

この章のまとめ

• 会話は、目印のトークンで区切った1つの長い文書としてモデルに入る。
• いちばん前のシステムプロンプトは、ユーザーには見えない指示文。
• 最後の「アシスタントの番」の場所で、モデルは次のかけらを書き続けるだけ。