AI解剖教室 · Part 3 文字を数字に

第30章 よく続くかけらをくっつける

Q. トークンの一覧は20万個。だれかがひとつずつ決めたのでしょうか？

  1. トークンの一覧は、人が決めたものではありません。文章をたくさん集めて、よく続けて出てくるかけら同士をくっつけて作ります。これがBPEです。
  2. 日記から集めた5つの単語でやってみましょう。最初は1文字ずつがかけら。出てきた回数まで数えると、かけらは56個です。
  3. 次に、となり合う2つのかけらのペアを数えます。「し」と「た」のペアが9回で、いちばん多いですね。
  4. いちばん多いペアを1つのかけらにくっつけて、一覧にのせます。「した」が新しいトークンに。かけらは47個に減りました。
  5. また数えて、またくっつけます。勉強、運動、する。4回くっつけたら、かけらは56個から29個に減りました。
  6. 文法を教えたことはないのに、「勉強」と「した」が別々のかけらになりました。よく出るかたまりを数えただけです。
  7. だから、はじめて見る「宿題した」も、知っているかけらで切れます。宿、題、した。「掃除する」は掃、除、する。
  8. GPT-4oのトークナイザーも、こうしてくっつけて約20万個のかけらを作りました。だから「学校に」を「学校」と「に」に切ります。

この章のまとめ