機械学習における学習資源の枯渇が来る

ChatGPTやGPT-4等の本質は,巨大Transformerをスケーリング則(データ量,計算量,モデルサイズに従い性能上昇が続く)を背景に大規模学習することですが,計算量はほぼ限界ライン

当然，OpenAIやGoogleなどの大企業はこれから物凄いお金をかけてAI開発を続けると思います．ただ，Web上のテキストも計算に使うスパコンも，人類が利用可能な限界に近づいているので，お金をかけようがどうにもならないということですね．

（既存技術に頼ったAIの進化は，と言う意味なので，これからTransformerともスケーリング則とも無縁な超絶技術が出てきて，そちらの方向で進化が進む可能性も否定できませんが）

データについては，これから増える分もありますが，人間が書くWeb上のテキストの増加量など，今までの蓄積に比べればたかが知れています．これからはAIが書いたテキストが高速に生成される可能性もあるわけですが，このようなテキストがAI学習に再利用される場合の影響については，わからない部分があります．

例えばGPT4学習のスパコンは一万GPU(一説には2万5千)構成と言われますが、これはTop500では世界三位のスパコンLUMIと同じです。一方GPT3からGPT4への計算規模は60倍で、仮にGPT5が同様の計算規模の進化が必要だとすると、60万GPUのマシンが必要ですが、400MWの電力が必要になります。

仮にA100->H100で学習速度が三倍になっても、20万ノード130MWです。コストも一兆円近いです。そのようなスパコンを作って、数ヶ月も完璧に運用できる技術はありません。