M5 Ultra 让本地 AI 代理可用
推荐指数 49.0 NO. 022 · 2026.09.22
发布2026/09/21Score212Comments199
为什么值得看
顶配 M5 Ultra Mac Studio（256GB 统一内存）实测可流畅运行本地大模型驱动的 AI 代理，性能接近云端且零额外成本。对一直因速度和智能程度犹豫是否部署本地代理的开发者，这是关键转折点。
编辑判断
统一内存架构是苹果的真正壁垒。RTX 5090 显存上限 32GB，而 M5 Ultra 的 256GB 统一内存让单卡运行 70B 级模型全精度推理成为可能，这是任何消费级 PC 做不到的。
但代价是生态锁死：CUDA 工具链无法迁移，PyTorch MPS 后端仍有不少算子未实现。如果你已经在用 vLLM、TensorRT-LLM 做生产部署，换到 Apple Silicon 等于重写整个推理栈。
最该关注的人群是：做个人 AI 助手、隐私敏感场景（医疗、法律）、或想砍掉 OpenAI API 账单的中小团队。纯研究/训练方向仍建议观望，MPS 对分布式训练的支持几乎为零。
社区反馈
意见分歧 151 条评论
核心争论：顶配Mac Studio本地部署是否值得，还是RTX 5090等GPU方案更优
$12,299
5 years of (200/month) tokens at that price, meanwhile an rtx 5090 pc is about half that… hmm but i wonder how much these token costs are sustainable or not, it may be in the long term cheaper to have your own hardware if token costs go up (and hopefully hardware gets cheaper again)
The token price isn't the only reason to run a model locally though. You can do additional training to specialize or remove censorship that may be a no-no per TOS with cloud GPUs.