FLの精度低下を考える - main-custard

FLの精度低下を考える

from 非ラベル音響データを活用した半教師あり連合学習によるマルチラベル音響イベント異常検知

FLの精度低下を考える

精度低下が統計的な問題に根差しているのではないか

どこかに書いた > FLで精度が上がらない理由を誤差逆伝播から考える

要は極小な変化にできれば良い?

極論,毎回パラメータを共有すれば良い

通信的に非効率なため何か考える必要がある

ミニバッチと同じことをする

SGDではミニバッチの挙動が統計的に担保されている???

のであれば同じことをすればいいのでは

パラメータ数に応じて通信の効率が悪くなりそう

勾配量子化と組み合わせる

そうすれば通信の効率は然程悪くならない

何か方法がありそうだが,どうすればいいのだろう

勾配法とか機械学習系の勉強を進めれば分かるのかな

先行研究にも当たりたい