パラハラの終焉
LLMの開発時代が終わりに近づいている
┠今後のAI技術向上はモデルのサイズを拡大では寄与しない
┠他の方法で実現されると予想
┗GPT-4の一部の知能は、モデルのサイズに依存しない手法で活用されている可能性がある
他の企業や研究機関もLLMの開発に注力
┗GPT-4以降はスケールアップによる効果が減少。
┃┠物理的な制約もある
┃┗最後の大きな進歩なんじゃない？
今後のAI技術向上
┠以下2つによって実現される
┃┠新たなAIモデルの設計
┃┗人間のフィードバックに基づくチューニング
┠GPT-2と-3は、15億パラと1750億パラ
┃┗モデルのサイズが増加することで性能が向上
┠GPT-4のサイズは公開されていない
┃┗サイズが最も重要でないため？
┠ 人間のフィードバックを用いた強化学習が、GPT-4の性能向上に一役買っている可能性がある。
GPT-4でもたらされる未来
┠未来
┃┠経済の変革
┃┠雇用の喪失
┃┠デマ拡散
┃┗など
┠Elon Musk(@elonmusk )らが、6か月間開発停止するよう求めた
┗が、サムは、現在GPT-5の開発は行っていないと述べた https://gyazo.com/d28d85ac38ac50eecafa449c599f9a8e