ReLoRA
https://arxiv.org/abs/2307.05695
Stack More Layers Differently: High-Rank Training Through Low-Rank Updates
参考
https://note.com/shi3zblog/n/n17458565e5f6
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場
簡単に言えば、「最初の学習(
事前学習
)の段階から
LoRA
的に学習すればいいじゃん」という
コロンブスの卵
のようなアイデアだ。
"We Have No Moat, And Neither Does OpenAI"
にもそんなようなことが書いてあったようななかったような
nomadoor.icon