AI解剖教室 · Part 3 文字を数字に

第31章 日本語はトークンが多い？

Q. 同じことを言っても、日本語だとAIの料金が高くなるって本当でしょうか？

1. 同じ意味の文を日本語と英語で書いて、トークンの数を数えてみましょう。トークンの数は、AIが読み書きする量です。
2. GPT-3のトークナイザーで切ると、英語は7かけらなのに、日本語は17かけら。同じ意味なのに2倍以上です。
3. 点線のかけらが多いですね。かなも漢字も1文字3バイト(第28章)。このトークナイザーは、漢字をバイトのかけらに切りました。
4. GPT-3のトークナイザーはほぼ英語の文章で作られたので、約5万個のかけらのうち、日本語の文字が入ったかけらは168個だけです。
5. トークンが多いと損をします。料金はトークンの数で決まり、一度に読める量もトークンの数で決まり、答えも遅くなります。
6. 新しいトークナイザーは、日本語のかけらをたくさん覚えました。同じ文がGPT-4では11かけら、GPT-4oでは7かけら。英語と同じです。
7. 長い文章で測ると、GPT-4oでも日本語は約1.3倍。GPT-3のときの約2.5倍に比べると、ずいぶん減りました。
8. 日本語はトークンが多い？ 昔はずっと多く、今は少し多い。トークナイザーがどんな文章で学んだかで決まります。

この章のまとめ

• 同じ意味でも、言語によってトークンの数がちがう。料金・読める量・速さはトークンの数で決まる。
• GPT-3のトークナイザーは英語の文章で作られ、漢字をバイト単位で細かく切っていた。
• 日本語のかけらをたくさん覚えたGPT-4oでは、差がぐっと縮んだ(長い文章で約2.5倍 → 約1.3倍)。