Qwen3 27B 本地实测：Mac Studio 能扛住
推荐指数 67.0 NO. 015 · 2026.08.29
发布2026/08/28Score82Comments71
为什么值得看
作者在 Mac Studio 上连续 10 天本地运行 Qwen3 27B 处理日常任务，并做了五轮基准测试和 1-bit 量化实验。这是目前少有的真实生产环境本地大模型运行数据，对想摆脱 API 依赖的工程师有直接参考价值。
编辑判断
本地跑 27B 模型的瓶颈从来不是显存够不够，而是"敢不敢把活真的交给它"。作者提到"第一个放心让它独自处理杂事的模型"，这其实是本地 LLM 从玩具到工具的关键拐点。
1-bit 量化"惊喜了两次"值得关注：第一次可能是速度，第二次大概率是精度没崩。如果 Qwen3 在 1-bit 下仍保持可用，意味着苹果芯片的 NPU 利用率还有很大挖掘空间，ollama 和 llama.cpp 的社区优化会快速跟进。
已经在用 GPT-4o 做摘要的工程师可以算笔账：27B 本地跑，按 2 毛/千 token 的 API 价，月跑 500 万次 token 就能回本一台 Mac Studio。隐私敏感场景和离线需求是额外加分项。
社区反馈
意见分歧 66 条评论
核心争论：本地运行Qwen3 27B的14 tok/s是否可用，以及Mac本地LLM工具链为何仍过于复杂
I am really surprised you’re seeing half the generation performance of 3.6 with 3.8 at the same parameter size and quantization (and same prefill performance to boot) - is there just an optimization in the stack somewhere for 3.6 that hasn’t landed yet for 3.8? Curious if other folks are also surpri
I suspect this might be due to MTP mispedictions. Either because the 3.8 quantized model weights do not include MTP heads, or as what happened with Ornith-1.5 recently, corrupted MTP heads, or due to a software issue in Ollama.
I remember an article a couple weeks back where someone used an HPE server with two older Xeon E-series CPUs and got reasonable performance by compiling llama with optimal switches for the architecture (memory alignment, page sizes, etc). I was impressed because those Xeons only had AVX2. If you are