RGB↔X - work4ai

RGB↔X

https://gyazo.com/a18e2b5d77012b7fadd71b17a97f72ee

https://zheng95z.github.io/publications/rgbx24Project

https://github.com/zheng95z/rgbxzheng95z/rgbx

https://arxiv.org/abs/2405.00666RGB↔X:Imagedecomposition and synthesis using material- and lighting-aware di usion models

RGB→Xモデル

普通の画像（RGB情報）を「アルベド（本来の色）」「粗さ」「金属性」「光の情報」といった「内在的な要素」（X）に分解するモデル

X→RGBモデル

逆に「内在的な要素」（X）を使って新しい画像（RGB情報）を生成するモデル

ChatGPT.iconこのモデルにはチャンネルドロップアウトトレーニング(Channel drop-out training strategy)という特徴があります。これは、学習中にあるチャンネル（内在的な要素）をランダムに省略することで、不完全な情報でも現実的な画像を生成できるようにする方法です。たとえば「アルベドと粗さだけ」の情報からも、それらしい画像を生成できるようにします。