OFT
OFTは、下流のタスクに適応しながら、テキストから画像への拡散モデルの超球面エネルギーを保存することで、事前学習された生成能力を損なわずに、より強力な制御性を得ることを目指します。
OFTは、各層のニューロンに対して層共有の直交変換を学習することで、ニューロン間の角度を保存します。OFTは、直交変換を効率的にパラメータ化するために、ブロック対角構造やCayley変換を用いる工夫を行います。
🤔nomadoor.icon
https://gyazo.com/5e76157ad0b28c2ce1a448838370c538
少ないデータでファインチューニングできる