AI解剖教室 · Part 3 文字を数字に

第36章順番はどうやってわかる？

Q. 「10時11分」と「11時10分」はかけらがまったく同じなのに、AIはどうやって2つがちがうとわかるのでしょう？

「犬が人をかんだ」と「人を犬がかんだ」。順番はちがっても意味は同じです。助詞の「が」と「を」が、だれがしたかを教えてくれるからです。
でも「10時11分」と「11時10分」は、かけらがまったく同じで順番だけがちがうのに、意味がちがいます。順番も情報なのです。
アテンション(第45章)は、すべてのかけらを一度に見てまぜます。位置の情報がないと、2つの文は同じかけらの袋に見えてしまいます。
そこで、かけらのベクトルに何番目かを教える数を足します。でも1, 2, 3をそのまま足すと、2,000番目のかけらは意味がうもれてしまいます。
もとのトランスフォーマー(2017年)はサイン波を使いました。速さのちがう波から、その位置の高さを読みます。値はいつも−1から1の間です。
時計の速い針と遅い針をいっしょに見れば、時刻がわかりますね。波も同じです。位置ごとに、もようがすべてちがいます。
このもようを、かけらのベクトルに足します。すると同じ「10」でも、0番の位置と2番の位置ではベクトルがちがい、順番が入ります。
文字、トークン、番号、埋め込み、位置情報。これで文章が、モデルが計算できる数になりました。Part 3はここまで、次はPart 4です。

この章のまとめ

同じかけらでも、順番が変わると意味が変わる(10時11分 ≠ 11時10分)。日本語は助詞も役割を教えてくれる。
位置情報：かけらのベクトルに「何番目か」を表すもようを足す。
もようは速さのちがうサイン波で作る(2017年)。値は−1〜1で、位置ごとにちがう。