VeRA
https://arxiv.org/abs/2310.11454
VeRA: Vector-based Random Matrix Adaptation
https://huggingface.co/papers/2310.11454
Vector-based Random Matrix Adaptation
低ランク適応(
LoRA
)は、大規模な言語モデルを微調整する際に学習可能なパラメータ数を削減する一般的な手法であるが、さらに大規模なモデルに拡張する場合や、ユーザ毎やタスク毎に適応したモデルを多数展開する場合には、ストレージに関する深刻な問題に直面する。
本研究では、
LoRAと比較して学習可能なパラメータ数を10分の1に削減
し、かつ同等の性能を維持するVector-based Random Matrix Adaptation (VeRA)を提案する。