unsloth
https://gyazo.com/caadf6e4da622923f51073635ec6efd7
https://unsloth.ai/
https://github.com/unslothai/unslothunslothai/unsloth
50%少ないメモリーで、3倍速くQLoRA学習をする
https://docs.unsloth.ai/get-started/all-our-models📚All Our Models
https://docs.unsloth.ai/basics/text-to-speech-tts-fine-tuningTTSのファインチューニングサポート
https://unsloth.ai/blog/phi4Phi-4 Finetuning + Bug Fixes by Unsloth
Phi-4の精度を大幅に向上させる4つのバグを発見し修正しました。
Unslothは、Phi-4のファインチューニングを2倍速くし、メモリ使用量を70％削減し、Hugging Face + FA2の12Kに対して48GB GPUで12倍長い>128Kのコンテキスト長を可能にします。
より高い精度と使いやすさのために、Phi-4をLlamaのアーキテクチャに変換しました。また、修正されたPhi-4 GGUFと動的4ビット量子化をここにアップロードしました。
モデルの量子化・軽量化・軽量で高速な学習と無茶苦茶高速な謎のナマケモノmorisoba65536.icon
調べたら兄弟二人で運営されている会社らしい…
Train your own R1 reasoning model with Unsloth:unslothさんが学習VRAMめちゃくちゃ減らしてくれました(24GBで24Bが学習可能に)