K8s 上建 AI 工厂：GPU 池化调度实战
推荐指数 77.0 NO. 025 · 2026.08.28
发布2026/08/27
为什么值得看
CNCF 官方博客提出在 Kubernetes 上构建多团队共享的 GPU 资源池，支持微调、推理、评估等任务并行调度。对于 GPU 利用率低、团队排队抢卡的公司，这是可直接落地的工程方案。
编辑判断
目前多数团队的 GPU 调度停留在「整卡分配」或简单虚拟化，VLLM 和 TGI 推理框架各自为政，导致一张 A100 白天推理负载 30%、晚上训练任务排队。Kubernetes 社区去年推出的 Dynamic Resource Allocation（DRA）API 让细粒度 GPU 切片成为可能，但生产级落地案例极少。
这篇文章的价值在于给出了多租户隔离 + 优先级抢占 + 弹性扩缩的完整架构，而非概念堆砌。如果你正在用 Slurm 或裸机管理 GPU 集群，且团队规模超过 3 个算法组，这是迁移到云原生调度的关键参考。
建议重点关注其中的 time-slicing 与 MIG 混合策略，以及如何通过 Volcano 或 Yunikorn 实现队列调度——这部分代码可直接复用。
相关内容
企业级GPU资源池化云平台解决方案 趋动科技与DaoCloud联合方案，基于云原生架构实现GPU资源池化、动态伸缩和细粒度调度，提升AI应用业务效率。 基于时间的公平共享实现Kubernetes集群GPU分配均衡 NVIDIA介绍Run:ai和KAI Scheduler中基于时间的公平共享功能，解决超额GPU资源动态调度中的公平分配问题。 AI场景下从GPU资源池到GPU双资源池 分析在线业务GPU资源浪费问题，提出虚拟GPU避免显存空闲，支持业务按需动态申请和及时释放资源。 GPU资源管理方案介绍 介绍K8S单机GPU分配模式，NVIDIA AI解决方案均架构于K8S平台，可通过GPU Operator完成部署。