PCIe 交换机实现 6 卡 P2P 显存直传
推荐指数 76.0 NO. 017 · 2026.11.13
发布2026/11/12Score76Comments24
简介
作者在 Broadcom PEX88096 交换机后挂载 4 张 AMD Radeon AI PRO R9700 和 2 张 RTX 3090,通过开启 32GB Resizable BAR 实现 GPU 间绕过 CPU 的直接内存访问。对多卡推理和分布式训练场景,这是绕过 NUMA 瓶颈、降低延迟的硬核方案。
编辑判断
多卡 P2P 在 NVIDIA 生态里靠 NVLink 或 NVSwitch 解决,但 AMD 和异构混插场景一直没有低成本方案。这个做法的关键洞察是:Broadcom PEX88096 作为通用 PCIe 交换机,比专用互联方案便宜一个数量级,且能混插 A 卡和 N 卡。
ROCm 的 P2P 触发条件很苛刻——必须完整映射 32GB BAR,这意味着主板 BIOS 和 CPU 地址空间都要配合,Intel 消费级平台通常直接出局。作者能跑通说明用的是 AMD EPYC 或 Intel Xeon 这类支持 64-bit BAR 映射的服务器平台。
如果你在搭本地大模型推理集群且预算有限,这个路线比买 A100/H100 整机更接地气,但需要自己啃 Linux 内核模块和 BIOS 调参,不适合想即插即用的团队。
社区反馈
意见分歧 24 条评论
核心争论:消费级主板BIOS固件限制与GPU P2P显存直传的硬件瓶颈之争
This is my post. Basically, I needed P2P between four R9700s for tensor parallel serving, which means a 32 GB BAR on each card. With all six GPUs in, the BIOS couldn't map them, and Linux sized the switch's window too small, so only two cards got their BARs. The module in the post works around that.
sidebar: Why don't your posts include pics of your rig? Asking because I really want to see your kit.
because the llm who wrote and illustrated it doesn't have a camera