双 DGX 本地跑 753B MoE 模型
推荐指数 70.0 NO. 017 · 2026.11.15
发布2026/11/14Score124Comments64
简介
通过 ConnectX-8 RDMA 互联两台 NVIDIA DGX Station,用 vLLM 的张量并行将 GLM-5.3 NVFP4 的 464GB 权重分载到双机 GPU 显存,实现 607.8 tok/s 的本地推理。这对需要数据不出域且模型规模超过单机显存上限的企业是可行路径。
编辑判断
这个方案的真正价值不在速度,而在证明了超大规模 MoE 模型可以脱离云厂商的 H100/H200 集群,用可采购的 DGX Station 实现私有化部署。之前类似规模模型几乎必须依赖 AWS/Azure 的 8xGPU 实例,数据合规成本极高。
但注意这里用了 NVFP4 量化才把 464GB 压进双机 504GB 显存,精度损失对金融、医疗等场景是否可接受需要实测。另外 ConnectX-8 的 RDMA 带宽是瓶颈——如果专家路由跨节点频繁,延迟会急剧恶化。
正在做私有化大模型部署的团队可以参考这个架构,但建议先评估你的 MoE 模型稀疏度是否足够高、专家局部性是否足够好,否则双机互联带宽会成为吞吐量天花板。
社区反馈
意见分歧 58 条评论
核心争论:双DGX本地部署是否值得,还是云API/更便宜硬件更优
Whats the best model i should be runnning with two dgxs? Is there a reason they chose glm and not deepseek
> Is there a reason they chose glm and not deepseek GLM-5.3's architecture (same as GLM-5.2) is simpler and it came out earlier. Hybrid attention and Manifold-Constrained Hyper-Connections only arrived with GLM-5.3-Flash. Also, NVIDIA acquired HuggingFace, who used GLM-5.2 for their forensic analys
DeepSeek’s claim to fame is massively shrinking the per-user memory footprint, enabling many more concurrent users in your fixed hardware footprint. Having more concurrent users leads to much higher overall throughput on that same hardware. That’s why DS is so cheap to host. See table 2 in this a