Bonsai 27B
https://prismml.com/news/bonsai-27bAnnouncing Bonsai 27B: The First 27B-Class Model to Run on a Phone
https://huggingface.co/collections/prism-ml/bonsai-27bBonsai 27B
https://github.com/PrismML-Eng/Bonsai-demo/PrismML-Eng/Bonsai-demo
https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernelsDemo
Qwen3.6-27Bベース
Ternary Bonsai 27B
三値{−1, 0, +1}を用い、FP16のグループごとにスケーリングし、1重みあたり真の実効1.71ビットとなります。
1-bit Bonsai 27B
同じグループごとにスケーリングされる2進{−1, +1}の重みを使用し、1重みあたり1.125ビットの有効ビットとなります。
3.9GBまで縮小
https://gyazo.com/b8bd9fba8b5b575514c24f2f869a8253
こちら使用感として上がってる報告としては
タスク遂行能力はかなり維持されている
日本語能力はかなり落ちている
単純知識も低下が見られる？
ようなので流石にただで圧縮、というわけではないようだ。morisoba65536.icon
とは言え27B級のタスク遂行能力がスマホに乗るなら使いようはありそうmorisoba65536.icon
#PrismML