AI解剖教室 · Part 7 GPTに勉強させる：事前学習

第68章 なぜGPUなの？

Q. AIの会社は、どうしてふつうのコンピューターではなく「グラフィックボード」を山ほど買うのでしょう？

1. GPTの計算は、ほとんどが行列の積です（第11章）。GPT-3は1層だけでも12,288 × 12,288の行列がいくつもあります。
2. 小さく、4 × 4の行列を2つかけてみましょう。答えのマスは16個。マスごとに行1本と列1本をかけて足します（第9章）。
3. CPUを、とても速い計算機1台としてみましょう。マスを1つずつ順番にうめるので、16マスなら16回順番を待ちます。
4. でも、マスどうしはおたがいを待つ必要がありません。どのマスも、自分の行と自分の列さえあればすぐ計算できるからです。
5. GPUは、単純な計算機が何千個も集まったものです。生徒1万人が1マスずつ受け持つように、全部のマスを一度にうめます。
6. 説明用の例で、計算機は1秒に20マス、生徒は1秒に1マス。1万マスなら計算機は500秒、生徒1万人なら1秒で終わり！
7. だから大きなAIは、GPUを何千個もつないで学習します。単語を一度に計算するトランスフォーマーとGPUは、相性ばつぐんです（第41章）。

この章のまとめ

• 行列の積の答えのマスは、それぞれ「行1本・列1本」の計算。おたがいを待つ必要がない。
• CPU = 速い計算機が数台で順番に、GPU = 単純な計算機が何千個も同時に。
• マスが多いほどGPUが有利。だからAIの学習はGPUでする。