AI解剖教室

ChatGPTがどうやって作られたのかを、高校生向けの96章のアニメーションと体験で学びます。トークン、埋め込み、アテンション、学習、RLHFまで。

  1. 第1章 次の言葉当てゲーム ChatGPTは、質問を聞いて答え全体を一度に思いついているのでしょうか？
  2. 第2章 一語ずつ書いていくAI ChatGPTの答えは、なぜタイピングするように少しずつ出てくるのでしょう？
  3. 第3章 AI 70年の年表 AIはChatGPTといっしょに、とつぜん現れたのでしょうか？
  4. 第4章 ルールで vs データで 迷惑メッセージをはじくプログラムは、どうすれば作れるでしょう？
  5. 第5章 これから組み立てる設計図 ChatGPTという機械を開けると、中には何が入っているのでしょう？
  6. 第6章 すべては数字 コンピューターは、写真や歌や文字をどうやって覚えているのでしょう？
  7. 第7章 ベクトル：数字の列 友だちと自分の食べ物の好みがどれくらい似ているか、数字で表せるでしょうか？
  8. 第8章 近ければ似ている 好みの似ている友だちを、数字で見つけられるでしょうか？
  9. 第9章 内積：どれだけ同じ向き？ 2本の矢印がどれくらい同じ方を指しているか、数字1つで表せるでしょうか？
  10. 第10章 行列：ベクトルの束 たくさんのベクトルを、まとめていっぺんに扱う方法はあるでしょうか？
  11. 第11章 行列の積 = 空間の変換 行列をベクトルにかけると、何が起きるのでしょう？
  12. 第12章 関数は入力→出力の機械 AIモデルも結局は1つの「関数」だといわれますが、どういう意味でしょう？
  13. 第13章 確率分布 「たぶん雨が降るよ」を数字でいうと、どうなるでしょう？
  14. 第14章 スコアを確率に：ソフトマックス モデルがつけた点数は、マイナスにもなるし合計もばらばら。どうやって確率に変えるのでしょう？
  15. 第15章 大きさをそろえる：正規化 100点満点のテストと20点満点のテスト、どちらのほうがよくできたのでしょう？
  16. 第16章 ニューロン1つ 新しくできたラーメン屋。当たりかどうか、AIはどうやって判断するのでしょう？
  17. 第17章 曲げてこそ：活性化関数 ラーメンはほどよい辛さがいちばん。ニューロンもそれに気づけるでしょうか？
  18. 第18章 層を重ねると ニューロン1つでは解けない問題。ニューロンをいくつか集めれば解けるでしょうか？
  19. 第19章 順伝播 ニューラルネットワークに数字を入れると、中では何が起きているのでしょう？
  20. 第20章 どれだけ間違えた？ 損失 AIがまちがえたのはわかるけれど、「どれだけ」まちがえたかは、どうはかるのでしょう？
  21. 第21章 勾配降下法 損失を減らすには、つまみをどちらへ、どれだけ回せばよいのでしょう？
  22. 第22章 歩幅を決める：学習率 山を下りるとき、一歩をどれくらいの大きさにすればよいのでしょう？
  23. 第23章 誤差逆伝播法：責任の分け合い つまみが何十億個もあるのに、まちがえたとき、どのつまみをどれだけ直せばよいのでしょう？
  24. 第24章 問題集を分けて解く 問題が何百万個もある問題集。1問ずつ直す？それとも全部解いてから一気に直す？
  25. 第25章 過去問だけ覚えた生徒 練習問題は全部正解なのに、テストになるとまちがえるAI。なぜでしょう？
  26. 第26章 体験：手書き数字 自分が指でかいた数字を、ニューラルネットワークは本当に読み取れるのでしょうか？
  27. 第27章 Part 2 ボス戦 ここまで学んだことを全部集めれば、ニューラルネットワークを一から学習させられるでしょうか？
  28. 第28章 コンピューターの中の文字 ひらがな、カタカナ、漢字。コンピューターは何万もの字の番号を、ひとつずつ覚えているのでしょうか？
  29. 第29章 トークン：AIの文字の単位 ChatGPTは文章を1文字ずつ読むのでしょうか、1単語ずつ読むのでしょうか？
  30. 第30章 よく続くかけらをくっつける トークンの一覧は20万個。だれかがひとつずつ決めたのでしょうか？
  31. 第31章 日本語はトークンが多い？ 同じことを言っても、日本語だとAIの料金が高くなるって本当でしょうか？
  32. 第32章 番号札の限界 トークンには番号があるのに、その番号をそのままモデルに入れてはだめなのでしょうか？
  33. 第33章 埋め込み：意味の座標 「犬」と「猫」が似ていることを、数でどうやって表すのでしょう？
  34. 第34章 まわりの単語が意味を教えてくれる だれも意味を教えていないのに、AIは「コーヒー」と「緑茶」が似ていると、どうしてわかるのでしょう？
  35. 第35章 埋め込み宇宙の探検 単語の地図で「犬」のとなりにはだれが住んでいて、「かみ」はどのあたりにいるのでしょう？
  36. 第36章 順番はどうやってわかる？ 「10時11分」と「11時10分」はかけらがまったく同じなのに、AIはどうやって2つがちがうとわかるのでしょう？
  37. 第37章 言語モデル = 文の確率 AIは、ある文が「自然だ」ということを、どうやって知るのでしょう？
  38. 第38章 直前の数語だけを見る 昔のAIは「次の語の確率」をどうやって求めていたのでしょう？
  39. 第39章 ニューラル言語モデル 一度も見たことがない文なのに、AIはどうやって次の語を見当づけるのでしょう？
  40. 第40章 RNN：メモのリレー 文の長さはばらばらなのに、AIは前の内容をどうやって覚えながら読むのでしょう？
  41. 第41章 RNNの限界 メモのリレーがそんなにいいなら、なぜChatGPTはRNNを使わないのでしょう？
  42. 第42章 翻訳機のしくみ 語順も長さもちがう2つの言語を、AIはどうやって翻訳するのでしょう？
  43. 第43章 アテンションの誕生 翻訳しながらもとの文をもう一度見られたら、AIの翻訳はどれだけよくなるでしょう？
  44. 第44章 Attention Is All You Need ChatGPTの骨組みになった論文は、なぜ「アテンションさえあればいい」と言ったのでしょう？
  45. 第45章 単語どうしが見つめ合う ひらがなで「かみ」と書いたら、紙？ 神？ 髪？ AIはどうやって見分けるのでしょう？
  46. 第46章 Query・Key・Value 文の中の語は、だれを見るかをどうやって決めるのでしょう？
  47. 第47章 関連度スコア 「行く」の質問と「学校に」のラベルがどれだけ合うかを、数1つで測れるでしょうか？
  48. 第48章 割ってからソフトマックス 関連度スコアをそのままソフトマックスしてはだめなのでしょうか？ なぜわざわざ1回割るのでしょう？
  49. 第49章 混ぜて新しい意味をつくる 見つめる割合はわかりました。では、その割合で何を、どうやって持ってくるのでしょう？
  50. 第50章 一度にまとめて計算する 語が1,000個あったら、第47〜49章の計算を1,000回べつべつにしないといけないのでしょうか？
  51. 第51章 未来をのぞき見しないで 次の語を当てる練習なのに、その語を先に見られたら、勉強になるでしょうか？
  52. 第52章 たくさんの目で見る 「行く」は、だれが行くのかも、どこへ行くのかも知りたい。1回見つめるだけで足りるでしょうか？
  53. 第53章 本物のGPTの頭の中をのぞく 本物のGPTのヘッドは、本当に何かを「見つめて」いるのでしょうか？
  54. 第54章 トランスフォーマーブロックの設計図 第5章の設計図のまん中にある「トランスフォーマーブロック」。開けてみると、中には何が入っているのでしょう？
  55. 第55章 考える層 アテンションで単語どうしが情報を分け合いました。そのあと、それぞれの単語は何をするのでしょう？
  56. 第56章 情報の高速道路 層を96個も通ったら、最初の文の情報は全部消えてしまわないでしょうか？
  57. 第57章 ゆれを抑える 結果を足し続けたら、96層あたりでは数がとんでもなく大きくならないでしょうか？
  58. 第58章 ブロックを積み重ねると ブロック1つでも動くのに、なぜ96個も積むのでしょう？
  59. 第59章 エンコーダー vs デコーダー ChatGPTの「GPT」とGoogleの「BERT」。どちらもトランスフォーマーなのに、何がちがうのでしょう？
  60. 第60章 ベクトルから単語へ 96層を通って出てきたのは、12,288個の数のベクトル。これをどうやって「行く」という単語に変えるのでしょう？
  61. 第61章 最初から最後までたどる ChatGPTが単語を1つ書くあいだ、中ではいったい何が起きているのでしょう？
  62. 第62章 Part 6 ボス戦：設計図の完成 部品は全部そろいました。正しい順番に組み立てて、GPTを完成させられるでしょうか？
  63. 第63章 教科書はインターネット ChatGPTは、いったいどんな本で勉強したのでしょう？
  64. 第64章 答えのない勉強 インターネットの文章には答えがついていないのに、GPTは何を見て採点したのでしょう？
  65. 第65章 驚きの大きさ 正解に52%をかけたモデルは、どれくらい間違えたのでしょう？ 間違いの度合いを1つの数で測れるでしょうか？
  66. 第66章 訓練ループを1周 GPTは何千億もの問題を、どんな順番で勉強するのでしょう？
  67. 第67章 かしこい下り坂 傾きだけを見て下るボールは、どうして道に迷うのでしょう？
  68. 第68章 なぜGPUなの？ AIの会社は、どうしてふつうのコンピューターではなく「グラフィックボード」を山ほど買うのでしょう？
  69. 第69章 GPT-1 → 2 → 3 GPT-1からGPT-3まで、2年でどれだけ大きくなったのでしょう？
  70. 第70章 大きいほど賢くなる モデルを10倍大きくすると、どれだけよくなるのでしょう？ 前もってわかるのでしょうか？
  71. 第71章 例を見せるだけで学ぶ 数を1つも直していないのに、モデルが新しい仕事を覚えられるのでしょうか？
  72. 第72章 賢いけれど言うことを聞かないモデル インターネットの文章をものすごい量読んだモデルに質問したら、すぐに答えてくれるでしょうか？
  73. 第73章 模範解答をまねる 言うことを聞かないモデルに、「答え方」はどうやって教えるのでしょう？
  74. 第74章 人が順位をつける お手本の答えを自分で書くより、ずっと楽な方法はあるでしょうか？
  75. 第75章 AIの採点係 人のかわりに答えに点数をつけてくれるAIがあったら、どうでしょう？
  76. 第76章 ほめて磨く 「よい答え」を言葉で全部説明できないなら、どうやって教えればいいのでしょう？
  77. 第77章 会話は実は長い文書 ChatGPTは、自分が言ったことと私が言ったことを、どうやって見分けているのでしょう？
  78. 第78章 2022年11月30日 ChatGPTは、どうやってたった5日で100万人を集めたのでしょう？
  79. 第79章 安全なAIをつくる AIはどんなお願いを断るべきでしょう？ 断りすぎたら？
  80. 第80章 選び方 いちばん確率の高い言葉を選ぶだけでいいのでは？
  81. 第81章 創造性のダイヤル AIの「創造性」を、数字ひとつで調節できるのでしょうか？
  82. 第82章 候補をしぼる ルーレットに「ピザ」のマスがあったら、いつか本当に「ピザ」が選ばれてしまうのでは？
  83. 第83章 AIの記憶の限界 ChatGPTと長く話していると、最初に言ったことを忘れてしまうことがあります。なぜでしょう？
  84. 第84章 もっともらしいウソ AIが自信たっぷりに言うことは、全部本当なのでしょうか？
  85. 第85章 しくみがわかると見えるプロンプト 同じことを聞いても、聞き方によって答えが変わるのはなぜでしょう？
  86. 第86章 目を持ったAI 文字しか読めなかったAIが、どうやって写真を見て説明できるのでしょう？
  87. 第87章 考えてから答える AIに難しい問題を出すと「考え中…」と出ますが、そのあいだ何をしているのでしょう？
  88. 第88章 調べてから答える うちの学校の文化祭の日のように、AIが学んだことのない情報は、どうやって聞けばいいのでしょう？
  89. 第89章 手足を持ったAI 文章を書くだけのAIが、どうやって電卓をたたいたり、検索したりできるのでしょう？
  90. 第90章 スマホの中のAI 巨大なAIが、どうやってインターネットなしでスマホの中で動くのでしょう？
  91. 第91章 AIとわたしたち AIがかいた絵はだれのもの？AIの時代に、わたしは何を準備すればいいのでしょう？
  92. 第92章 ミニGPTを設計する ChatGPTをうんと小さくしたら、自分の手で作れるでしょうか？
  93. 第93章 自分のトークナイザーをつくる 自分のデータにぴったりのトークンは、どうやって決めるのでしょう？
  94. 第94章 ブラウザで訓練する モデルは本当はどうやって学ぶのでしょう？自分のスマホの中で、じかに見てみましょう。
  95. 第95章 文章を生成してみる 自分で訓練したモデルは、どんな文章を書くのでしょう？
  96. 第96章 卒業式 96章かけて組み立てたChatGPTを、最初から最後まで一気にたどってみませんか？