Does Differential Privacy Defeat Data Poisoning?
Matthew Jagielski, Alina Oprea
TL;DR
前々回のニュースレターに引き続き、DPML'21から
機械学習問題における、data poisningに対して、differencial privacyが防御策になるのか?という問いに関する論文
結論は、differencial privacyが直接防御策になっているわけではなく、differencial privacyが効果があることの多い、robustnessのある機械学習アルゴリズムが、結果的にdata poisningの緩和につながっているというもの
背景
Data poisning
機械学習問題における、data poisning
学習データに間違ったもの混ぜることで、特定のdata pointに対する推論の精度を落とすもの
防御手法に関する指標(どちらも小さい方がいい)
Vulnerability: poisningの対象 (objective) の精度がどれだけ下がったか
Friendly fire: data inputの特定の領域の精度がどれくらい下がったか
https://gyazo.com/bd777932f7952bcce48a14730efd8673
Differencial privacy
いつもの定義
https://gyazo.com/25d3e246b2a67ed51483c8e860e418cd
これらは基本的には独立のものだが、結果的に関係しているのか?という問い
結果
Private logistic regression trained using objective perturbation
結論: No, 防御になってない
https://gyazo.com/2a00f114663a2162f849cf6ffa8b1e86
privacyが高まるごとにvulnerabilityもfriendly fireも大きくなってしまっている
Clipped gradient descent
https://gyazo.com/3d87343e614b29d76fe2f0a46d50aa6c