GPU
低レベルGPUプログラミング
CPU自作
CUDA
半導体
クラウド
「NVIDIA」
https://www.nvidia.com/en-us/
AWSでGPUを使った機械学習環境を使うためのプロセス
https://qiita.com/RHM/items/24d7f79ea6417ab78621
「CUDAプログラミング入門」
https://www.youtube.com/results?search_query=cuda
「UbuntuでのGPU環境の構築」
https://www.atmarkit.co.jp/ait/articles/1804/18/news141.html
「分散学習基礎講座」
https://www.cc.u-tokyo.ac.jp/events/lectures/111/20190124-1.pdf
バッチサイズが増えると精度が低下する
学習率とバッチサイズを増やすことはSGD的に等価
「分散深層学習」
https://www.slideshare.net/iwiwi/nips17-86470238
GPUを増やせば増やすほど高速化するわけではない
イテレーション数や減ってしまったり、勾配が正確になり分散が小さくなることがある
精度の劣化を排除するFaceBookの論文がある
バッチサイズに比例させて学習率を大きくするのが本質
ニューラルプロセシングユニット
https://semiconductor.samsung.com/jp/support/tools-resources/dictionary/the-neural-processing-unit-npu-a-brainy-next-generation-semiconductor/
第215回お試しアカウント付き並列プログラミング講習会 「第9回 GPUミニキャンプ」
サーバレスGPUにModalがいいぞ！
https://zenn.dev/seya/articles/6ba2d58d01306f
We open sourced the GPU Glossary
https://modal.com/blog/open-source-gpu-glossary