Federated Learning of Gboard Language Models with Differential Privacy
原文を読む
翻訳した文章の意味がよく分からないため
メモ
何を言っているのかよく分からない
眠いからか?
Deeplの翻訳がおかしいのかな
目の疲れが原因かも
今度は2.4と3節を丁寧に読む
2.4を読んだ
Sensitivity analysisがよく分からない
途中の話が込み入っている
モデルの不確実性について議論しているらしい
将来的にはわかった方がいいが今は大丈夫だ
Secaggはこういうもので,私たちのモデルはこういう状態で,課題はこう...
といった感じかな
最低限文字を追ってなんとなく理解するのに20分くらい?
途中あまり集中できていないのでなんとも言えない
3節で試そう
追試をしたい
会議名: ?
Motivation
プライバシーの保護
Gboardで扱うデータを最小限にする
Method
SecAggとDPによって最小限のデータかつ悪意からシステムを守る
2.4節にアルゴリズムの記載がある
Federated DP-FTRL with SecAgg
丁寧に読めば分かりそうだが一旦飛ばす
2.5節に一通りの流れがある
SecAgg
プライバシーを保つ集約方法
おそらく各サーバに直接関わらない
クライアントの塊を管理してそこに接続?
ブラックボックスとして扱う
サーバから個別のベクトルに触れない感じか?
ベクトルからデータを割り出すのは聞いたことがある
詳細は下の関連論文二件を読む
DP
差分プライバシー
学習するときにデータのプライバシを保つ...のか?
DPのためにクリッピングが必要らしい
adaptive cripping
DP-FTRLで使われている手法
clip normの推測を行う
集約前にクリッピングをする様子がfigure2にある
各クライアントの学習を一定範囲内に収めるための工夫?
事前学習で精度を向上
評価
指標
A/B指標を導入
他,セキュリティの指標も導入
実験を行って評価
シミュレーションとある
小さい
Insight
DPによる保証が有効
SecAggはプライバシ保護に役立つが学習の時間が長い?
Keyword
Unknown
割と込み入った話が多い
どこが分かっていないかが分からない
Reflection
TensorflowにFLとプライバシのオープンな実装があるらしい
追試に使えるかも?
差分プライバシでデータのプライバシについては一定の成果が得られそう
ブロックチェーンはどういう方向で対処するのだったか?
もう一度読んだ方がいいかも
指標あたりをもう一回見た方がいいかも
Reference
一周目
SecAggについて
DPについて?