816B开源模型首跑桌面端
推荐指数 69.0 NO. 013 · 2026.10.16
发布2026/10/15Score424Comments265
为什么值得看
Muse Spark Open 发布 816B 总参数量（42B 激活）原生多模态模型，首次在双 Apple M5 Ultra Mac Studios 本地运行。对关注数据隐私和本地部署的 AI 工程师而言，这是大模型端侧化的关键里程碑。
编辑判断
此前本地跑大模型基本是 70B 级别的妥协方案，816B 级别模型上桌面的意义在于验证了 MoE 架构+Apple Silicon 内存带宽的可行性。MLX 框架这两年从学术研究工具进化到能扛生产负载，PyTorch 在 Mac 上的生态位在收缩。
对创业团队来说，这打开了"私有云"部署的新选项：比自购 A100 便宜，比公有 API 更可控。但注意 1M 上下文窗口在双机配置下的实际吞吐量还没公开数据，做长文档处理的团队建议等首批 benchmark 再决策。竞品对比上，Llama 4 的 MoE 架构同样走本地优化路线，但 Muse 率先绑定了 Apple 生态的极致能效比。
社区反馈
意见分歧 235 条评论
核心争论：开源大模型端侧部署是里程碑还是营销噱头，NPU是否适合运行此类模型
i love seeing major ai labs release open-weight models. really hope we'll see more of this from openai and eventually anthropic too.
They've done considerable effort in making sure this model can run on basically every model runner, from Unsloth to MLX, https://dev.meta.ai/docs/muse-spark-open/deploy
Yes, but still, what about users looking for NPU support. What happened to Microsoft's copilot+ PC campaign? (the NPU hardware, not the logo key and ad campaign) AMD's XDNA2 NPU is best supported by ONNX, I think Qualcomm Hexagon is too. The best consumer unified architectures are Apple, AMD ai+ an