AI模型自动路由：告别手动选模型
推荐指数 59.0 NO. 004 · 2026.08.30
Stars2,614
为什么值得看
一个开源代理层，通过本地轻量嵌入模型为每个请求自动选择最优模型（Claude/GPT/Gemini），替代人工判断或固定配置。对多模型并行的团队，可显著降低延迟和成本，避免"大材小用"。
Model router for agentic systems. Routes every prompt to the right model in <50ms. Cut costs 40-70% with just an endpoint change.
媒体预览
编辑判断
目前大多数团队的多模型策略是硬编码规则或人工切换，比如用 GPT-4 做复杂任务、Haiku 做简单任务，维护成本高且容易过时。Router 的差异化在于用 on-box embedder 做实时决策，不依赖云端额外调用，延迟可控。
与 LiteLLM、Portkey 等同类工具相比，后者侧重统一接口和 fallback，Router 则聚焦"智能选择"本身，且开源了基于 Avengers-Pro 论文的 scorer 逻辑。如果你在 Claude Code 或 Cursor 里固定用 Claude 3.5 Sonnet，但实际很多请求用更小模型就够了，这个工具值得替换进去测一周的成本差异。
Star History
生态分析
Beta
开源AI模型路由中间件，为Agent系统提供智能模型选型与成本优化层
独特价值：本地轻量嵌入实现<50ms路由决策，零配置替代人工模型选择