AIに最適なGPUを選ぶポイント

クラウドGPUが楽そうでいいなと思ったが、こちらの記事を読むと、高すぎると痛感した。

もしGPUが必要になったら、上の設定通りにやってみる価値はある。

コア数

少なすぎると、AIモデルをスムーズに実行できなくなるため、迷ったら多いやつを

コアには大きく「CUDAコア」と「Tensorコア」の2種類がある

CUDAコア: 画像処理 (目安: 3000〜)

Tensorコア: 数値の計算 (目安: 100〜)

メモリ

AI開発では、機械学習などを進める際に、大量のデータを保持しておく必要がある

そのため、メモリ容量(VRAM)が不足していると、十分なデータを保持できず、性能が大きく低下する。

また、GPUの処理速度は、メモリの帯域幅に大きく左右される。

AI開発には、8GB以上の製品を選ぶ。

一度に複数のモデルを動かすときは、1TB以上必要なことも

後からメモリを拡張できるタイプのGPUを選ぶ

価格

内蔵GPUやオンプレミスGPUは、導入費用が高く、環境構築する必要があって、その後のアップデートも難しい。

そのため、クラウドGPUがAI開発には良さそうか。(10万円程度で導入可能)

そうでない場合、NVIDIA製とAMID製があるが、AMD製の方が導入費用を抑えられる。

冷却性能や消費電力

AIモデルを処理する際には、GPUに大きな負荷がかかるため、PCから熱を逃す必要がある。

冷却がうまくできないと、処理速度が遅くなるデメリットがある。

また、高性能のGPUやグラフィックボードであればあるほど、消費電力は大きくなる。

参考