人類を加速させる計算資源が足りない
@ProfMatsuoka: 例えばGPT-4学習のスパコンは一万GPU(一説には2万5千)構成と言われますが、これはTop500では世界三位のスパコンLUMIと同じです。一方GPT3からGPT4への計算規模は60倍で、仮にGPT5が同様の計算規模の進化が必要だとすると、60万GPUのマシンが必要ですが、400MWの電力が @ProfMatsuoka: という訳で、「富岳の横に今直ぐ大規模GPUスパコンを作って1-2年後に置いてもその頃にはxxxは遥かに先を行ってる」という事は、少なくとも学習基盤に関しては無いので、ご安心下さい。勿論他の部分もありますが、だからこそ今行動を起こすだけでなく、短期・中期・長期の正しい状況の予測と計画が必要です。 https://pbs.twimg.com/media/FtaYqdVakAEuzUV.jpg
G5g インスタンスは、Graviton2 プロセッサに加えて NVIDIA T4G Tensor Core GPU を備えており、最大 25 Gbps のネットワーク帯域幅と 19 Gbps の EBS 帯域幅で...