隠れニューラルネットワークに基づく連合学習の通信量削減手法の輪読メモ
from 研究室 輪読メモ-2
隠れニューラルネットワークに基づく連合学習の通信量削減手法の輪読メモ
宝くじ仮説を使うFL
いい感じのサブネットワークを見つける
重みを更新する必要がなくなる!?
Edge-Popup algolithmでサブネットワークを学習
ナイーブ
重み全部にスコアを考えている
あまり効率が良くない
通信量が据え置き
変動部分だけを見れば良い
という議論がある
二つ理由がある
ピン留めを行う
更新しない部分をマスクで示す
一時的
永続的
ピン留めの割合はどうすれば良い?
学習データに左右される
適応的に求める必要がある
一時的ピン留め率は逐次求められる
スコアのランキングを統合サーバで作れるから?
永続は難しい
温度パラメータを追跡
温度はだいぶ恣意的に決められているかも
本当にそれでいいのかな
結果
精度は結構出てる
通信量も良い
疑問
スコアの話があまりわかってない
初期値はランダム
スコアの勾配は重みと勾配をかけて計算