画像リライティングの技術的な背景 by ClipDrop
https://gyazo.com/64ea756f53f2bd63046cfd293f1f9de2
Technicalities Behind Image Relighting
https://static.clipdrop.co/web/relight/title-demo.webm
この技術 → ClipDrop Relight
正確な立体形状を取得するのが最も重要
そのために使っている技術
depth map by ClipDrop Depth Estimation Model
surface normal map by Clipdrop Surface Normal Estimation Model
一枚の画像からDepth mapとSurface Normal mapを予測する研究はMiDaSが最先端
さらに精度を上げるにはアノテーションが必要
ClipDropでは服装、ポーズ、体型、表情、顔や体毛など、多種多様な人体モデルを含む数千の人体データセットを構築
MiDasとの比較
https://gyazo.com/b0992ada7ac3f5308c7c1216f8183a01https://gyazo.com/877fa669aaccc9b75e9f59f2378da454
ControlNetで使いたいなぁ|ω･)ﾁﾗnomadoor.icon
どうやらAPIがあるらしい
→ ClipDrop APIs