开源网关把生产流量变成定制路由模型
推荐指数 65.0 NO. 018 · 2026.08.28
发布2026/08/27Score107Comments16
为什么值得看
Experiential 是一个面向 Agent 工作流的开源网关，统一接入托管、BYOK 和本地模型，支持精细化权限与预算控制，并能将生产流量蒸馏为针对质量、速度、成本优化的自定义路由或模型。对需要多模型混布且想降低推理成本的团队，这是可直接替换现有路由层的方案。
编辑判断
目前多模型路由的主流方案是 LiteLLM 或自建 Nginx + 重试逻辑，但 LiteLLM 的重心在统一 API 格式，对生产流量反馈闭环做得不深。Experiential 的差异化在于把路由决策本身变成可学习的——用真实请求的延迟、成本、质量数据持续优化路由策略，这接近 Martian 和 Unify 的闭源思路，但是开源的。
已经在用 LiteLLM 做模型 failover 的团队，可以重点看它 traffic-to-router 的蒸馏链路是否比人工写规则更省成本；如果是刚起步的多 Agent 架构，直接用它替代自建网关能少踩很多权限和预算控制的坑。
社区反馈
意见分歧 16 条评论
核心争论：模型路由的自动化价值 vs 手动指定模型更简单可靠，缓存成本是关键顾虑
Could you say more about how caching works? One major advantage of sticking with a single model is saving money on cached input tokens. I'd imagine if you swap between a bunch of models, you may improve performance but cost would would balloon out of control
and caching is related to performance too ofc
The trick is to rarely switch, or switch at task boundaries. Often the conclusion of routing is actually "this one model is actually at the pareto front for this task, just use it always".