マークザッカーバーグが指摘するAIの冬
- AIの発展はエネルギーがボトルネックになる。ギガワットのシングルトレーニングクラスターはまだ誰も作っていない。電力の問題の解決は数十年を要する - xAIでは、ワットあたりの計算量を最大化することに重点を置いている。エネルギー効率やアルゴリズムは今後さらに重要な分野になる - オープンソースにコミットしている訳ではない。モデルがプロダクトであるならオープンソースをやめる。AIそのものはプロダクトにならない。コンテキストやネットワークグラフ、モデレーションこそプロダクトだ。故にモデルをオープンソースにできる
- 近々Nvidia GPUからカスタムシリコンに移行できる。いずれはもっと単純なモデルの学習に使えるシリコンを開発し最終的には大きなモデルのトレーニングに使いたい
- クリエイターがAIを所有し好きなようにAIを訓練し、コミュニティに参加させられれば非常に強力だ
- 事前学習のためのデータのクリーンアップが今後の作業の大部分を占める。Llama3はLlama2によってクリーンアップされたデータでトレーニングされた
- 最もエキサイティングなのはAIをめぐる一連のドラマだ。何十億ドルという大金を賭けて、誰がハッタリをかましているのかを短期間で見ることができることだ😱