Bonsai
由美國加州理工學院的研究團隊PrismML推出的小型LLM
https://www.youtube.com/watch?v=tUSNN1nhSRM
Bonsai-8B
prism-ml/Bonsai-8B-mlx-1bit · Hugging Face
基於Qwen3-8B,進行1-bit化處理後而來
2026-04-06 パラメーター数8Bなのにメモリ消費わずか1.15GBの省メモリAIモデル「1-bit Bonsai」が登場、メモリ消費量14倍のモデルと同等以上の性能を発揮 - GIGAZINE
2026-04-04 Bonsai-8B考察 — 1-bit LLMは使い物になるのか #LLM - Qiita
實際上的綜合能力大約落在2B模型與4B模型之間
在撰寫程式上的表現較優秀,而在推論或數學部分上則有明確的弱點
但由於其基於Qwen3,這種比較並不公平,其更有價值的是如何輕量化的技術
若和Qwen3-2B或Qwen3-4B進行比較,Bonsai的表現恰如其分
Bonsai主要是目標是終端裝置或機器人
即能在智慧型手機、樹莓派、IoT裝置上運行的LLM
如果記憶體的空間有到4GB以上,則Qwen3.5-4B Q4的表現還是更好
Bonsai的最有效擊打點是記憶體小於2GB的極端環境
Bankai
Bonsai-27B
Bonsai 27B - a prism-ml Collection
在本地執行LLM
llama.cpp
https://github.com/PrismML-Eng/llama.cpp