Marigold
https://marigoldmonodepth.github.io/Project
https://github.com/prs-eth/marigoldprs-eth/Marigold
https://arxiv.org/abs/2312.02145Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation
https://huggingface.co/spaces/toshas/marigoldDemo
拡散モデルを使った単眼深度推定
その基本原理は、最新の生成画像モデルに格納された豊富な視覚的知識を活用することである。Stable DIffusionから派生し、合成データで微調整された我々のモデルは、未見のデータへのゼロショット転送が可能であり、最先端の単眼奥行き推定結果を提供する。
Marigold-LCM
https://huggingface.co/spaces/prs-eth/marigold-lcmDemo
https://huggingface.co/prs-eth/marigold-lcm-v1-0prs-eth/marigold-lcm-v1-0
CC BY-NC 4.0
変更されるかもしれない
Apache 2.0へ変更
背景除去として応用した例
https://twitter.com/TJ16th/status/1759208902485537070TJ16th
ちょうど良い感じに深度をリマップして、バイナリマスクに変換してるのかな？nomadoor.icon
https://openart.ai/workflows/rhinoceros_tense_89/rmbg-vs-marigold/LBwrSgVDdwHN3G2GYtU5RMBG vs Marigold
https://gonzalomartingarcia.github.io/diffusion-e2e-ft/Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think
v1.1
https://huggingface.co/prs-eth/marigold-iid-appearance-v1-1prs-eth/marigold-iid-appearance-v1-1
albedo / roughness / metallicity
https://huggingface.co/prs-eth/marigold-iid-lighting-v1-1prs-eth/marigold-iid-lighting-v1-1
albedo / diffuse shading / residual
https://huggingface.co/prs-eth/marigold-depth-v1-1prs-eth/marigold-depth-v1-1
https://huggingface.co/prs-eth/marigold-normals-v1-1prs-eth/marigold-normals-v1-1