DeepSeek开源MoE通信库DeepEP

MoE训练的核心瓶颈从来不是计算而是通信——all-to-all的延迟直接决定GPU利用率。之前业界主流方案是NCCL或自研定制，但NCCL对MoE的不对称带宽场景优化不足，很多团队被迫写裸CUDA kernel维护成本极高。DeepEP的差异化在于原生支持NVLink域到RDMA域的转发优化，这恰好是千卡/万卡集群MoE的痛点，比Megatron-LM的通信方案更贴合DeepSeek-V3的group-limited gating设计。如果你正在用DeepSeek-V3做复现或基于其架构做预训练，这个库可以替代掉你现有的dispatch/combine手写kernel；如果用其他MoE架构如Mixtral，需要评估其gating算法是否匹配。