影は嘘をつかず、線は曲がらない！生成モデルは射影幾何学を知らない...今のところ
https://gyazo.com/a8046e75aee38b06047ee77cb8d842e8
https://projective-geometry.github.io/Project
https://arxiv.org/abs/2311.17138Shadows Don't Lie and Lines Can't Bend! Generative Models don't know Projective Geometry...for now
幾何学的な正確さを使って、生成モデルが作ったものかどうかを判別する
線分を手掛かりにする
画像内の直線を見つけだし、その配置が実画像のものかどうかPointNetで検出する
Perspective Fieldを手掛かりにする
画像の各ピクセルの空間的な方向を消失点や水平線と関連付けて表現するベクトル場
これを使て透視投影との整合性を調べる
影を手掛かりにする
オブジェクトとその影の形、位置が正しいか調べる
https://gyazo.com/49a84c834b3751af861c821adeaf7d71
AUC > 0.9
現状の生成モデルは投影幾何学や照明の一貫性が不足していることが確認された
逆にこれを向上させることでより生成モデルの活用を広げられるだろう
なんてわかりやすい論文名nomadoor.icon
inpainting・Face Swapを抜けばかなり信用のある評価方法といえそう
Real or Generated