PEFT
https://github.com/huggingface/peft
https://huggingface.co/blog/peft
大規模なモデルは、下流のタスクで微調整するのに費用がかかります。トレーニング可能なパラメーターのごく一部で同じパフォーマンスを達成できるとしたら? PEFT の紹介: 「パラメーター効率の良い微調整」のためのライブラリ。
LoRA
:
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
Prefix Tuning
:
Prefix-Tuning: Optimizing Continuous Prompts for Generation
,
P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
P-Tuning
:
GPT Understands, Too
Prompt Tuning
:
The Power of Scale for Parameter-Efficient Prompt Tuning
AdaLoRA
:
Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning
ファインチューニング