M5 Max 离线跑 36B 模型实战
推荐指数 64.0 NO. 007 · 2026.04.28
发布2026/04/27Score83Comments66
为什么值得看
一位工程师在 10 小时无网络航班上，用 M5 Max 128GB 内存本地运行 Gemma 4 31B 和 Qwen 4.6 36B，完成了一套云成本分析工具开发。验证了当前端侧大模型已能支撑真实工程场景，对经常出差或需数据隐私的开发者有参考价值。
编辑判断
真正值得注意的不是硬件性能本身，而是作者选择的工具链组合：LM Studio 做模型托管、DuckDB 做分析引擎、opencode/rtk 做 CLI 交互，这套轻量架构完全绕开了传统云原生开发对网络的依赖。
之前本地 LLM 开发的主流方案是 Ollama + 自建 RAG，但 LM Studio 的模型管理和 API 兼容层让切换成本更低。如果你在处理敏感数据或需要合规离线环境，这套组合比部署私有云实例更省事。
一个未明说但关键的细节：128GB 统一内存能同时跑两个 30B+ 模型，意味着可以做模型路由或对比验证，这是纯云端方案反而难以低成本实现的。