1-bit/三值量化模型本地运行方案

极低位宽模型之前主要是 BitNet b1.58 和微软的系列工作，但工程化落地一直卡在推理框架支持上。Bonsai 的不同在于直接适配了 llama.cpp 生态（Metal/CUDA/Vulkan/ROCm 全平台），意味着你可以用 ollama 或 lm-studio 直接跑，不需要自己写 kernel。

跟 BitNet 官方实现比，Bonsai 多了视觉编码器和原生 tool calling，这对想拿 1-bit 模型做实际 agent 任务的人很关键。不过要注意 1-bit 版本的 8B 和 27B 在复杂推理任务上的精度损失目前缺乏公开的第三方 benchmark，建议先在自己的 RAG 或客服场景跑一遍再决定是否上生产。

显存小于 8GB 的 MacBook 用户、以及想把模型成本压到接近零的初创团队，应该优先试这个而不是满血版 Llama 3。