DeepSeek 开源 FP8 矩阵运算库
推荐指数 90.0 NO. 003 · 2026.10.07
Stars8,674
为什么值得看
DeepGEMM 是 DeepSeek 开源的统一张量核心算子库，支持 FP8/FP4/BF16 精度的 GEMM、MoE 融合通信等 LLM 关键计算原语，所有内核通过 DeepJIT 运行时编译无需安装期 CUDA 编译。对做推理优化的工程师来说，这意味着可以直接绕过 CUTLASS 的模板地狱，用更简洁的代码拿到接近硬件极限的性能。
DeepGEMM: clean and efficient BLAS kernel library on GPU
编辑判断
做推理引擎的团队之前要么手写 CUDA 裸核，要么被 CUTLASS 的模板元编程折磨到怀疑人生。DeepGEMM 的狠招是只借 CuTe 的 layout 抽象，完全抛弃 CUTLASS 的 epilogue 和 fusion 模板体系，用更少的核心函数覆盖更多场景，配合 DeepJIT 实现安装后零编译。
跟 FlashInfer、vLLM 的 custom kernel 相比，DeepGEMM 的定位更底层——它不是端到端推理框架，而是算子基础设施。如果你在做自研推理引擎或者需要魔改 MoE 的 all-to-all 通信 pattern，这个库比直接 fork CUTLASS 省至少两周踩坑时间。
特别值得盯的是它的 Mega MoE 和 HyperConnection 实现，这两个是 DeepSeek-V3/R1 论文里提过的关键优化，现在代码全开放了。
Star History
生态分析
Production
DeepSeek自研的轻量级FP8/FP4高性能GEMM内核库，填补CUTLASS与闭源库之间的易用性空白
独特价值：JIT运行时编译免安装，绕过CUTLASS模板复杂度，直击LLM推理性能极限
竞品：
NVIDIA/cublas 闭源商业库，无法定制优化，无JIT能力