LyCORIS
GitHub : https://github.com/KohakuBlueleaf/LyCORISLora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion.
Stable Diffusionやその他に対してパラメータ効率的なfine-tuningを行うための異なるアルゴリズムを実装するためのプロジェクト
LoConのブランチからのスタート
実装したもの
table:LyCoris
Full LoRA LoHa LoKr low factor LoKr high factor
Fidelity ★ ● ▲ ◉ ▲
Flexibility ★ ● ◉ ▲ ●
Diversity ▲ ◉ ★ ● ★
Size ▲ ● ● ● ★
Training Speed Linear ★ ● ● ★ ★
Training Speed Conv ● ★ ▲ ● ●
★ > ◉ > ● > ▲ means better and smaller size is better
Conventional LoRA
LoHa : LoRA with Hadamard Product representation
https://gyazo.com/babbfc7652b93c995f2156fa5134296b
左の図が2R個のランク1行列(縦ベクトルと横ベクトルの積)の総和になるのに対し、右の図はRの2乗個のランク1行列の総和になるので同じパラメータ数でランクを大きくできるらしい。
(IA)^3
This algo produce very tiny file(about 200~300KB)
ちっちゃwogikaze.icon
DyLoRA
LoCoN
GLoRA
2.1.0
OFT・BOFT
2.2.0
QLycCORIS with LoHa/LoKr/OFT/BOFT
bitsandbytes8bit/4bit Linear layer
DoRA
LyCORISモデルといっているけど中身はLoCoNとかLoHAであって、"LyCORIS"という技術で作られたモデルはないっていう認識で合ってるのかな？nomadoor.icon
リコリス？wogikaze.icon
https://gyazo.com/a0b6c691e82b1d4caf2380734f731e11
GitHubのトップがこれなので、開発者のセンスが爆発してますねｸｫﾚﾊ…nomadoor.icon
Fate/Zero感基素.icon
#KohakuBlueleaf