AI解剖教室 · Part 0 ChatGPT、きみは誰？

第5章 これから組み立てる設計図

Q. ChatGPTという機械を開けると、中には何が入っているのでしょう？

1. ここまでをまとめると、ChatGPTは次のかけらを当てる機械です。では、その機械を開けてみましょう。
2. 入り口には、文章をかけらに切るトークナイザー、かけらを数字に変える埋め込み、何番目かを教える位置情報があります。
3. まん中はトランスフォーマーブロック。かけら同士が見合うアテンションと、考えを足すフィードフォワードが1セットで、何十層も積まれています。
4. 最後にソフトマックスで次のかけらの確率を出し、1つ選んでつなげます。そしてまたいちばん上へ。
5. でも部品の中の数字は、最初はめちゃくちゃです。膨大な文章で次のかけら当てを練習して数字を直します。これが事前学習です。
6. 最後に、お手本の答えと人のほめ言葉で会話のしかたを学びます。そうしてChatGPTになります。
7. これからこの設計図の空欄を、Partごとに埋めていきます。いま埋まっているのは「選んでつなげる」と学習データ。出発しましょう！

この章のまとめ

• トークナイザー → 埋め込み + 位置 → [アテンション + フィードフォワード] × 何十層 → ソフトマックス → 選んでつなげる。
• 最初はめちゃくちゃな数字を、事前学習で直す。
• お手本の答えと人の評価で会話を学べば、ChatGPTになる。