AirLLM
https://gyazo.com/408f75e26070628ceada8a2aa13ce5e4
https://github.com/lyogavin/Anima/tree/main/air_llmlyogavin/Anima
70Bのモデルを4GBのVRAMで実行する
すごいwogikaze.icon*3nomadoor.icon
量子化、蒸留、pruning、あるいはモデル性能の劣化をもたらす他のモデル圧縮技術は必要ありません。
2023/12/1
airllm 2.0.圧縮をサポート：実行時間を3倍高速化！
#省VRAM