AI解剖教室 · Part 6 トランスフォーマーを組み立てる

第58章 ブロックを積み重ねると

Q. ブロック1つでも動くのに、なぜ96個も積むのでしょう？

1. ブロックは入ったときと同じ形で出てきます。だからレゴのように、下へ次々とブロックをつなげられます。
2. GPT-1は12層、GPT-2は48層、GPT-3は96層。同じブロックの設計をくり返し積みました。
3. 形は同じでも、層ごとに中の数はちがいます。だから層ごとに受け持つ仕事も少しずつ変わります。
4. 浅い層は主に単語の形やすぐとなりの単語を、中間の層は文の中での役割や関係をあつかいます。
5. 深い層ほど、文全体の意味や次に来る言葉をあつかいます。同じ「学校に」に情報が少しずつ積み重なります。
6. 層ごとに次の言葉をのぞいてみると、深くなるほど「行く」の確率がだんだん上がっていきます。
7. GPT-3のブロック1層には数が約18億個。96層合わせると約1,740億個で、1,750億個のほぼ全部です。
8. こんなに深く積めるのは、高速道路と正規化のおかげです。次の章ではブロックの2つの使い方を見ます。

この章のまとめ

• ブロックは入ったときと同じ形で出てくるので、いくらでも積める。GPT-1は12層、GPT-2は48層、GPT-3は96層。
• 設計は同じでも層ごとに数がちがうので、浅い層と深い層で受け持つ仕事がちがう。
• 深くなるほど、単語ベクトルに文脈と次の言葉の情報が積み重なる。GPT-3の数のほぼ全部がブロックにある。