GPU

「NVIDIA」

AWSでGPUを使った機械学習環境を使うためのプロセス

「CUDAプログラミング入門」

「UbuntuでのGPU環境の構築」

「分散学習基礎講座」

バッチサイズが増えると精度が低下する

学習率とバッチサイズを増やすことはSGD的に等価

「分散深層学習」

GPUを増やせば増やすほど高速化するわけではない

イテレーション数や減ってしまったり、勾配が正確になり分散が小さくなることがある

精度の劣化を排除するFaceBookの論文がある

バッチサイズに比例させて学習率を大きくするのが本質

ニューラルプロセシングユニット

第215回お試しアカウント付き並列プログラミング講習会 「第9回 GPUミニキャンプ」

サーバレスGPUにModalがいいぞ！