AI解剖教室 · Part 9 答えが生まれる瞬間

第83章 AIの記憶の限界

Q. ChatGPTと長く話していると、最初に言ったことを忘れてしまうことがあります。なぜでしょう？

1. 第77章で見たように、会話はモデルにとってひとつの長い文章です。でも、一度に読める長さには限りがあります。
2. この限界をコンテキストウィンドウ（文脈の窓）といいます。GPT-3は2,048トークンまででした。窓の中の文章だけが予測に使われます。
3. 会話が長くなると、新しい言葉が入るたびに、いちばん古い言葉が窓の外へ押し出されます。
4. ここで名前を聞くと？名前は窓の外なので、モデルには見えません。わからないと答えるか、名前を作ってしまうこともあります（第84章）。
5. 窓をどこまでも広げるのは大変です。アテンションはかけらのペアごとにスコアをつけるので（第47章）、長さが2倍なら表は4倍です。
6. 答えを書くときは、かけらを1つ作るたびに、前のかけら全部のKeyとValueが必要です（第46章）。毎回計算し直すのはむだですね。
7. KVキャッシュは、計算ずみのKey・Valueのメモを使い回す方法です。前のかけらは後ろを見ないので（第51章）、値が変わりません。
8. ただし、メモは会話が長いほどたまり、メモリを使います。長い会話では、大事なことをもう一度伝えるとよいでしょう。

この章のまとめ

• コンテキストウィンドウ（context window）：モデルが一度に見られるトークン数。GPT-3は2,048トークン。
• 窓をこえると古い言葉から押し出され、モデルはその内容を見られない。
• KVキャッシュ：計算ずみのKey・Valueをメモしておいて使い回し、答えを速く作る。