HPC
ハイパフォーマンスコンピュータクラスタ
実現方法
データ転送
AWS Direct Connect
GB/sのデータをオンプレからクラウドに移動できる
AWS Snowball
ペタバイト級のデータを移行する
AWS DataSync
EFA(Elastic Fabric Adapter)
AWSが提供するEC2インスタンス用の高性能ネットワークインターフェース
EFA対応のMPIライブラリを使用できる
Message Passing Interface
分散メモリ型の並列処理を実現するための通信プロトコル/API仕様
複数のノード(サーバー)が協調して計算を行う際に、お互いの間でメッセージ(データ)を送受信
MPI_Send(), MPI_Recv(), MPI_Bcast() などの関数で大量のデータを頻繁にノード間でやり取り
コンピューティング
EC2
スポットノードやAuto Scallingを利用して自動的にスケールさせる
EC2 Placement Groups:ネットワークのパフォーマンスを出すのに良いクラスタ
10Gbps
EC2 Enhanced Networking:より低いレイテンシで接続できる
実現方法
Elastic Fabric Adapterを使って100Gps以上の通信を行う
Intel 82599VFを使う(こちらも10Gp以上の通信ができるが、レガシー)
ストレージ
EBS:io2 Block Expressを使えば256000IOPSまでスケールアップできる
Instance Store:100万IOPSまでスケール。EC2と紐づく
EFS:複数EC2から同時アクセス可能。IOPSスケール型
Amazon FSx for Lustre:HPCのためのファイルシステム。100万IOPSまでスケール
S3ベース
オーケストレーション
AWS Batch
複数ノードの並列ジョブを実行するためのサービス
複数のEC2にまたがる操作ができる
AWS ParallelCluster
HPCのための、オープンソースクラスタマネジメントサービス
テキストファイルで設定
VPCやSubnet、クラスタタイプなどを自動設定