深度学习性能优化的第一性原理
推荐指数 76.0 NO. 007 · 2026.05.24
发布2026/05/23Score118Comments43
为什么值得看
Horace He 的长文系统拆解了如何从硬件底层（内存带宽、计算单元、并行架构）出发推理深度学习性能瓶颈，而非依赖经验 tricks。对工程团队来说，这是建立系统性优化思维的必读框架，能避免盲目试错。
媒体预览
编辑判断
这篇文章的价值在于它把性能优化从'玄学'变成了可推导的工程问题。作者 Horace He 是 PyTorch 核心维护者，文中提到的 roofline model 分析方法是 Meta 内部做大规模训练时的标准工具，但很少对外系统讲解。
实际落地时，大部分团队的瓶颈不在算力而在内存带宽——这也是为什么同样的模型用 FlashAttention 能快 2-4 倍，本质是把 memory-bound 问题转成 compute-bound。如果你在做模型 serving 或训练 infra，建议直接跳到文中的 profiling 章节，用 nsight 或 torch.profiler 验证自己的假设，而不是继续堆 in-place op 这类边际收益极低的 trick。
社区反馈
意见分歧 38 条评论
核心争论：Python/GPU性能对比是否成立，以及Python overhead对深度学习优化的真实影响
> in the time that Python can perform a single FLOP, an A100 could have chewed through 9.75 million FLOPS wild
Single core vs multi core accounts for much of this
Not really. GPU many cores, at least for fp32, gives you 2 to 4 order of magnitudes compared to high speed CPU. The rest will be from "python float" (e.g. not from numpy) to C, which gives you already 2 to 3 order of magnitude difference, and then another 2 to 3 from plan C to optimized SIMD. See e.