AI解剖教室 · Part 3 文字を数字に

第29章 トークン：AIの文字の単位

Q. ChatGPTは文章を1文字ずつ読むのでしょうか、1単語ずつ読むのでしょうか？

1. ChatGPTは文章を読む前に、まず細かく切ります。このかけらをトークン、切る部品をトークナイザーといいます。
2. 1文字ずつ切るとどうでしょう？ かけらが多くなりすぎるし、「く」のようなかな1文字には意味がほとんどありません。
3. では文節ごとなら？ ことばのまとまりは無限にあって、「ぴえん」のような新しいことばは一覧になく、読めません。
4. そこで、その中間の大きさで切ります。本物のGPT-4oのトークナイザーは、この文を7かけらに切ります。
5. かけらごとに番号があります。「学校」は73048番。モデルが実際に受け取るのは、文字ではなくこの番号の列です。
6. かけらの一覧を語彙といいます。GPT-3は約5万個、GPT-4oは約20万個のかけらを知っています。
7. めずらしいことばは、知っている小さなかけらに分けます。unbelievableは3かけら、ぴえんは4かけら。だから読めないことばはありません。
8. 文章を切って番号をつけるトークナイザー。設計図の最初の部品が埋まりました。このかけらの一覧はどう作るのでしょう？

この章のまとめ

• トークン：AIが文章を読むときのかけら。文字より大きく、ことばのまとまりより小さいことが多い。
• よく出てくるかたまりは1かけら、めずらしいことばは小さなかけらいくつかに分かれる。
• かけらごとに番号があり、モデルはこの番号の列を受け取る。かけらの一覧＝語彙。