FedKDの輪読
from 輪読会のメモ-6
FedKDの輪読
クライアントに教師/生徒モデルがある!?
教師はローカルで保持
生徒は集約,暗号化
サーバは通常通り
ローカルの損失とか
予測誤りの影響を最小限にする重みづけをする
教師がローカルに特化し,生徒が全体のバランスを取る
いいね!
クライアント選択で平均的なモデルを作ると,それに貢献しないクライアントに恩恵が少なくなる
クライアント最適化を捨て去るため? 少し語弊がある
これはどうなのだろう?
結局全体をバランスよくしたモデルを構築する?
動的勾配近似手法を使用
FedAvgで集約してるらしい
一瞬だけ書いてあった
質問して良かったな
フレームワークがFedKD
モデルのアーキテクチャと学習の仕方を含む
実験の表
他のモデルは多分FedAvgを利用
FedKDはそういうモデル+手法
手法が統一されていないのに比較できるのか?