Foundry
AI研究団体・OpenAIが、最新モデルを利用できるプラットフォーム「Foundry」を立ち上げて、一部ユーザーに早期アクセス権を与えています。価格は「GPT-3.5 Turbo」モデルインスタンスが月額2万6000ドル(約350万円)、「DV(32K max context)」モデルインスタンスが月額15万6000ドル(約2130万円)に設定されているとのことです。 高い高い高いwogikaze.icon
これぐらいの金額でモデル作成・ランニングコストまかなえないかな？
実際LLMの製作コストってどのくらいなんだろnomadoor.icon
How much does it cost to train a state-of-the-art foundational LLM?
$4M.
Facebook's 65B LLaMA trained for 21 days on 2048 Nvidia A100 GPUs. At $3.93/hr on GCP, that's a total of ~$4M.
Google's 540B PaLM was trained on 6144 v4 TPUs for 1200hrs. At $3.22/hr is a total of ~$27M Deedy 4M$ ≒ 5.4億円
基盤LLM学習にGCPでA100GPU 2048枚を21日間課金（536円/A100時）で約5.5億円。 研究用HPCのA100課金は一桁安く、仮に
- 産総研ABCI（960枚x82.5円）
- 東京大学Aquarius（360枚x31.3円）
- 大阪大学SQUID（336枚x22.9円）