AI解剖教室 · Part 3 文字を数字に

第28章コンピューターの中の文字

Q. ひらがな、カタカナ、漢字。コンピューターは何万もの字の番号を、ひとつずつ覚えているのでしょうか？

第6章で、文字には番号があると話しました。「あ」は12354番。今日は、この番号がどう決まるのかを見ます。
ユニコードは、世界の文字に番号をつけた表です。「A」は65、「中」は20013、笑顔の絵文字は128512。15万字以上あります。
日本語は、ひらがな・カタカナ・漢字の3種類の文字を使います。ユニコードでは、種類ごとに番号の区画が分かれています。
ひらがなの区画をのぞくと、五十音の順に並んでいます。小さい「ぁ」や、濁点のついた「が」も、すぐとなりにいます。
パーツを組み合わせた字もあります。「が」は「か」に濁点をつけた字。ユニコードには、濁点だけの番号もあります。
だから番号は計算で決まります。濁点をつけると+1、カタカナにすると+96。「か」12363に足すと12460、本物の「ガ」です。
番号が1増えると、濁点がついたりとれたりします。か、が、き、ぎ、く。96増えるとカタカナ、2増えると丸がつきます。
保存の箱1つ(バイト)には0〜255しか入らないので、大きな番号は分けて書きます。「A」は1つ、「あ」は3つ。これがトークンの材料です。

この章のまとめ

ユニコード：世界の文字に番号をつけた表。「A」は65、「あ」は12354。
かなは五十音順に並ぶ。濁点をつけると+1、カタカナにすると+96。
保存するときは0〜255の数(バイト)に分けて書く。かなも漢字も1文字＝3バイト。