分散学習
並列計算とスパコン
コンピュータアーキテクチャ
GPU
Federated Learning
テンソル並列処理
https://docs.aws.amazon.com/ja_jp/ja_jp/sagemaker/latest/dg/model-parallel-extended-features-pytorch-tensor-parallelism.html
パイプライン並列処理
https://www.ibm.com/docs/ja/iis/11.5?topic=processing-pipeline-parallelism
分散学習のあれこれ
https://www.slideshare.net/HidekiTsunashima/ss-168694472
Deepspeed
https://www.deepspeed.ai/getting-started/
PyTorch Lightning vs DeepSpeed vs FSDP vs FFCV vs …
https://towardsdatascience.com/pytorch-lightning-vs-deepspeed-vs-fsdp-vs-ffcv-vs-e0d6b2a95719
大規模モデルを支える分散並列学習のしくみ Part1
https://zenn.dev/turing_motors/articles/0e6e2baf72ebbc
Apache Spark
https://atmarkit.itmedia.co.jp/ait/articles/1608/24/news014.html