Anima
https://github.com/lyogavin/Anima/lyogavin/Anima
https://huggingface.co/lyogavin/Anima33B-mergedlyogavin/Anima33B-merged
https://gyazo.com/eaa1b7391ff488f31fdc4596fb04f78c
既存のオープンソースLLMは7Bや14Bなど小型なものが多い
会話タスクなどではモデルの大きさによる差は微細だが、複雑なタスクになるにつれそのギャップは大きくなっていく
cf. https://yaofu.notion.site/Towards-Complex-Reasoning-the-Polaris-of-Large-Language-Models-c2b4a51355b44764975f88e6a42d4e75#c8bbeadd067c4b2a84b8e9440894fadbTowards Complex Reasoning: the Polaris of Large Language Models
QLoRAの最適化手法により、33Bパラメータ・モデルを初めて、より民主的で費用対効果の高い方法で微調整し、普及させることができる。
AirLLM
#省VRAM
#LLMの量子化
別物
Anima(Cosmos-Predict2)