Federated Distillationの解説と追試

目的

大規模モデルでも学習できるよう,通信コストを削減

クライアントとサーバで異なるモデルを使用可能に

ロジットの交換を行う

何それ

ソフトラベルがロジットのことらしい

ソフトラベルって何?

蒸留の話が分かっていないみたい