LLMOps 该谁管？平台工程 vs MLOps
推荐指数 54.0 NO. 027 · 2026.08.14
发布2026/08/13
为什么值得看
CNCF 探讨大模型时代 AI 管线 ownership 的归属争议，传统 MLOps 分工已无法覆盖 prompt 工程、模型路由、安全护栏等新环节。对正在搭建内部 LLM 平台的团队有直接参考价值，可避免组织架构与技术栈的错配。
编辑判断
这场争论的实质是权力边界而非技术选型。MLOps 团队习惯控制模型全生命周期，但 LLM 场景下 80% 的工程工作量在应用层——prompt 版本管理、RAG 检索质量、API 成本熔断，这些更接近传统平台工程的范畴。
实际落地中，最痛苦的往往是"两不管"地带：模型更新后 prompt 失效谁负责？API 限流导致业务中断谁背锅？建议参考 Netflix 和 Shopify 的做法，设立"AI Platform"横向团队，对 SLA 负责，而非让 MLOps 和 DevOps 互相扯皮。
如果你正在招聘第一个 LLM 平台负责人，优先找有分布式系统背景、愿意学模型行为的人，而不是反过来。
相关内容
LLMOps vs MLOps: A Complete Comparison Guide MLOps由数据科学家和ML工程师主导，LLMOps则引入提示工程师、内容策展人甚至UX设计师，因用户体验已成为模型行为的一部分。 LLMOps vs MLOps — Key Differences & Focus Areas 核心区别：MLOps管理模型，LLMOps管理智能；前者是维持工厂车间可预测机器运转，后者是成为智能的负责任管理者。 From MLOps to LLMOps - what's the difference? MLOps工程师专注于提升模型部署效率与价值创造，处理开发与运维团队间的反馈循环张力，旨在最小化生产摩擦。 MLOps vs LLMOps: What's the Difference? DevOps孕育MLOps，LLMOps扩展MLOps以适配LLM，但二者的区分既棘手又有趣，需从实践光谱中理解演进关系。 LLMOps vs MLOps: What's Different, What's the Same LLMOps涵盖托管API、自托管基础模型及安全护栏，包括幻觉控制与敏感数据处理，Google Cloud将其定义为MLOps原则向生成式AI的延伸。