Communication-Efficient Learning of Deep Networks from Decentralized Data I. Introduction

Introを読みメモを取る

冒頭

サーバに関する懸念がある

更新を統合するサーバに言及しているっぽい

他の研究では悪意ある参加者にも言及していたが...

この後に出てくるのかな

プライバシーとセキュリティの両方

信頼できるなら,端末自体のセキュリティ確保が主眼となる

SGDとmodel averagingが謎

いろんな用途に使える言語モデルを考えているらしい

論文10

割とタスクが限定的

無闇にLLMを振り回すより小型の言語モデルを使う方がいい場合もありそう

それとも,データ量的にLLMに匹敵するモデルサイズになるのか?

更新時,ソースを特定するようなメタデータが不要

集約アルゴリズムを使うため更新のソースが不要

identifying meta-data over a mix network

信頼のおける第三者によって送信が可能

あまりどういう利点かわかってない

Federated Optimization

本研究はIID,不均衡,通信効率に言及

以下も大事だが触れない

データセットの動的な変化への対応

クライアントの可用性とローカルデータとの相関?

時間帯によってデータの蓄積に差が生じる

可用性の問題

可用性によってデータの蓄積に差が生じる

ここを考えないと更新に問題が生じる可能性...?

応答がないなど,問題のあるクライアントの扱い

提案手法は同期型

そうすれば一旦時間差の話は吸収できる...か?

ランダムなクライアントを選択する部分でも対処しているのかも

定式化

今は飛ばす

定式化も飛ばす?

ともかく,ローカルの計算リソースに頼れば通信の問題は解決するよね,という話のはず

ざっくりとした理解

関連研究

今は気にしなくて良いのでは

アルゴリズムを見た後かな

あるいはFedAVG以降の統合アルゴリズムを見てから?