Nightshade

イラスト作品や写真作品を毒化して画像生成AIの学習を阻害できる学習防止ツール「Nightshade」 https://gigazine.net/news/20231024-nightshade-poison-image-generate-ai-model/

https://gyazo.com/536cbe058f6d5b6794c0f6c5e17786bf

データセットの画像にわざと間違ったキャプションをつけて(poison image)モデルを学習させる

未来のSDXLみたいな基盤モデルを壊すのが目的だとしても、最近はVLMで自動的にキャプションをつけるようになってきているので難しそうnomadoor.icon

企業のサービスなんかで特定の概念が出ないようにしたいならErasing Concepts from Diffusion Modelsで良いのでは

Today is the day. Nightshade v1.0 is ready. Performance tuning is done, UI fixes are done.

You can download Nightshade v1.0 from

Please read the what-is page and also the User's Guide on how to run Nightshade. It is a bit more involved than Glaze

Discordコミュニティでの検証結果(N=いくつか)

image2image：効果なし(キャプションに対して攻撃するタイプ?なので当たり前)

LoRA：効果なし(HIGHでかけると生成画像にノイズが乗るが論文の効果は再現できず

LoRA strengthを-1で掛けると学習したものがでなかったので学習できてるっぽい

そのジャンルに毒入りの大量の画像がある&キャプションを自動でつける&追加学習(大量)をするモデルじゃないと意味がなさそう

HIGH以外ならMISTほどノイズは強くない