OpenCost首次追踪K8s推理单token成本
推荐指数 67.0 NO. 025 · 2026.08.06
发布2026/08/05
为什么值得看
OpenCost 1.121.0 新增 Kubernetes GPU 推理成本细粒度追踪，可精确到每个模型、每次请求、每个 token 的实时成本。解决平台团队 GPU 账单黑盒问题，为模型路由和成本优化提供数据基础。
编辑判断
目前多数团队用 Kubecost 或云厂商账单做 GPU 成本分摊，粒度只能到 Pod 级别，推理场景下多个模型混部时完全无法归因。OpenCost 这次把追踪维度拆到 token 级，相当于给推理服务做了成本可观测性。
跟 Kubecost 相比，OpenCost 作为 CNCF 项目更聚焦云原生成本标准，且这次更新直接对接了 vLLM、TensorRT-LLM 等主流推理引擎的 metrics。如果你在用 K8s 跑多模型服务，且正在纠结要不要给不同客户/业务线做按量计费，这是目前最接近生产可用的开源方案。
建议先接入测试环境，重点验证高并发场景下 metrics 采集对推理延迟的影响，以及自定义模型定价模型的灵活性。
相关内容
OpenCost 1.121.0: First-of-a-Kind Kubernetes Inference Cost Tracking OpenCost首次实现Kubernetes推理成本追踪，对比了基于使用量、资源分配和外部API三种计费模式，指出自托管在利用率超50%时更具成本优势。 OpenCost - open source Kubernetes cost monitoring OpenCost源自Kubecost项目，由Adobe、AWS、Google等合作伙伴共同开发，为Kubernetes环境提供开源成本监控规范与实现。 Kubecost vs OpenCost - Kubernetes Guides OpenCost是专为Kubernetes和云原生环境开发的开源成本监控方案，为团队提供实时可见性，有效追踪和分析工作负载资源分配成本。