AI解剖教室 · Part 7 GPTに勉強させる：事前学習

第70章 大きいほど賢くなる

Q. モデルを10倍大きくすると、どれだけよくなるのでしょう？ 前もってわかるのでしょうか？

1. モデルを大きくすると、本当に賢くなるのでしょうか？ 2020年、研究者たちは大きさのちがうモデルをいくつも作って損失を比べました。
2. ふつうの目盛りで描いてみます。小さいモデルたちは左はしに集まっていて、そのあとはほとんど平らに見えます。
3. 今度は横の目盛りを変えます。1マス進むごとに1を足すのではなく、10倍ずつかけていく目盛りです。
4. すると、点がまっすぐ1本の線に並びます。説明用の例では、大きさを10倍にするたびに損失が0.5ずつ減ります。
5. 10倍ずつ大きくなるこの目盛りを、対数目盛りといいます。第65章の驚きのように「何回かけたか」を数える目盛りです。
6. データの量や計算量を増やしても、同じようにまっすぐな線が出ました。この決まりをスケーリング則といいます。
7. 線をのばせば、もっと大きなモデルの損失も前もって予想できます。だからGPT-3のような大きなモデルに挑戦したのです。
8. 2022年のチンチラの研究は、モデルだけを大きくせず、パラメータ1個あたり約20トークンの割合でデータも増やそうと言いました。

この章のまとめ

• 横の目盛りを10倍ずつに変えると（対数目盛り）、損失はまっすぐな線で減っていく。
• 大きさ・データ・計算量を増やすと、損失は予想どおりに減る = スケーリング則（2020）。
• 線をのばして大きなモデルを予想する。データもいっしょに増やすべき（チンチラ、2022）。