AppleのCASM自動検知
「メッセージ」アプリで12歳以下のユーザーが児童性的虐待コンテンツ（Child Sexual Abuse Material、CSAM）を送受信しようとすると警告する機能「Communication safety in Messages」 iPhotoの「写真」にCSAM画像が保存されているとそれを検出し、アカウントを停止して当局に報告する機能「CSAM detection for iCloud Photos」
Siriや検索でCSAM関連検索をすると警告する機能の3つ
3つの対策の中で、メッセージでの警告とiCloudの写真での画像検知が物議を醸しており
懸念の中心は、Appleがユーザーのデータにアクセスできるようになるのではないかということと、CSAM検知の技術が政府などによってCSAM以外の検知に使われる可能性だ。
Q：
「Communication safety in Messages(メッセージアプリの通信の安全性)」と「CSAM detection(iCloud写真でのCSAM検出)」の違いはなんですか？
A：
2つは別の機能で、同じ技術を用いていません。
「Communication safety in Messages」は、「『性的に露骨な画像』を送受信しないようにする保護」を親子に提供することを目的としたもので、ファミリー共有で設定したiMessageアプリで送受信された画像だけが対象となっています。端末上の画像を分析し、子どものアカウントで「性的に露骨な画像」の送受信が確認された場合、写真にぼかしがかかり、子どもには警告が表示されると同時に、写真を見たり送信したりしたくない場合はしなくて大丈夫だと安心させるメッセージが表示されます。
「メッセージ」でやりとりされた画像・情報が全米行方不明・搾取児童センター(NCMEC)、法執行機関と共有されることもありません。「Communication safety in Messages」は「CSAM detection」とは独立した機能です。
これはfalse positiveがありそう
「CSAM detection」は、既存のCSAMに一致するもの以外の写真に関する情報はAppleに提供することなく、CSAMをiCloud Photosから除外するよう設計されています。（略）CSAM検出機能は、写真をiCloud Photosに保存することを選んだユーザーにのみ影響するもので、iCloud Photosを使用しないユーザーには影響を及ぼしません。「iMessage」には適用されず、端末上の他のデータにも影響はありません。
iCloud写真のCSAM検出技術は、あくまでNCMECやその他の団体が提供するCSAMのハッシュでのみ動作するように作られています。このハッシュリストは、子ども保護団体が取得し、CSAMであることを検証した画像に基づいています。AppleはNCMECに報告する前に目視確認を行っており、また、法執行機関への自動通報は行われません。このシステムは「iCloud写真でCSAMであることがわかっている写真のみを報告する」仕組みです。
システムが既知のCSAMと一致しない写真にフラグを立てた場合、アカウントは無効化されず、NCMECへの報告は行われません。
ハッシュをつかっているのに誤検知の可能性がある？
このシステムは非常に正確に設計されており、任意のアカウントに誤ったフラグが立てられる可能性は年間で1兆分の1以下です。さらに、システムによりアカウントにフラグが立てられた場合、AppleはNCMECに報告する前に人間の目で確認を行います。そのため、システムのエラーや「攻撃」により、無実の人がNCMECに報告されることはありません。
なお、画像の識別にハッシュを用いる方法はAppleのCSAM検出システムが初ではなく、ストックフォト販売サイトでコピー利用の検出にも用いられています。実際にこの技術を用いている会社に属する技術者だというオリバー氏は、Appleのいう「誤検知は年間1兆分の1以下」という数字の根拠が不明で、複数の写真が誤検知される状況が想定されることを指摘しています。
The Problem with Perceptual Hashes