PowerSGD:行列分解を用いて並列計算で高速なSGDを提案
Information
https://arxiv.org/abs/1905.13727
TL;DR
Important Feature 1
勾配を計算するときに、様々な圧縮方法が考えられるが、
今回はLow-rank approximationを使った方法で、勾配行列を圧縮することを考える。
https://gyazo.com/0377a8262ed6d1f55766477f03078a88
Important Feature 2
W個のworkerがあるときに、all-reduceアルゴリズムを用いることがあるが、
ここで階層的なall-reduceを使うことによって、worker間でのコミュニケーションをlogWで計算することができる
https://gyazo.com/4e1e6b29e9a7c424d8fc6351091510fb
Important Feature 3
コミュニケーションの量を少なくして早く計算することができる。
https://gyazo.com/f75c0a4665da0c192ed7cd4d80480347