K8s 自动扩缩容面临 AI 负载重构
推荐指数 62.0 NO. 022 · 2026.10.20
发布2026/10/19
为什么值得看
AI 工作负载的异构资源需求（GPU/TPU/CPU 混合调度）正在打破 K8s 传统调度器与自动扩缩容器之间的隔离设计。这意味着现有集群可能面临资源碎片化和成本失控，需要重新评估基础设施架构。
编辑判断
当前大多数团队的 AI 推理服务仍在用基于 CPU 指标的 HPA 做扩缩容，导致 GPU 节点预热滞后 3-5 分钟，高峰期丢请求是常态。社区真正在推的解决方案是 Kubernetes 1.29+ 的 In-Place Pod Resize 配合自定义指标（如 GPU 显存利用率、队列深度），但这需要改调度器插件，升级成本不低。
如果你现在的 K8s 集群同时跑在线推理和离线训练，建议先把这两类工作负载拆到不同节点池，避免调度器为抢 GPU 把训练任务打散到各节点造成显存碎片。短期内这比追新特性更省成本。