AI 负载让 K8s 部署复杂度翻倍
推荐指数 64.0 NO. 024 · 2026.09.05
发布2026/09/04
为什么值得看
CNCF 发文指出 Kubernetes 虽已是基础设施标配，但 AI 工作负载（GPU 调度、分布式训练、推理弹性伸缩）正在重新放大其操作门槛。对已有 K8s 团队的 AI 工程师而言，这是从"会用"到"用好"的关键分水岭，不懂 GPU 拓扑感知和 MIG 分区配置将直接拖慢模型上线速度。
编辑判断
大多数团队解决 GPU 调度痛点的方式是叠厂商方案：AWS EKS 用 Karpenter，GKE 用 Autopilot，自建集群则靠 Volcano 或 Yunikorn。但这些方案在推理场景的冷启动延迟上普遍做得粗糙，特别是多模型共享 GPU 时的显存碎片问题。
这篇文章的真正价值在于点出了一个被忽视的中间地带：不是 K8s 变难了，而是 AI 工程师和平台工程师的协作界面没对齐。平台团队按传统微服务思维配资源配额，AI 团队按实验需求要弹性，两边用同一套 K8s 却讲两种语言。
如果你所在的公司正在从"能跑模型"转向"规模化服务化"，建议优先推进两件事：一是把 Prometheus 的 GPU 利用率指标接入 CI/CD 门禁，二是让平台团队理解 batch size 和显存占用的非线性关系，这比换任何调度框架都见效快。