LLM路由统一框架开源
推荐指数 73.0 NO. 021 · 2026.08.15
upvotes85comments1
为什么值得看
将LLM路由形式化为五组件的序列决策过程，覆盖单轮、多轮和个性化路由场景。为AI基础设施团队提供了可公平对比、模块化扩展的基准，解决各厂路由方案黑箱化、无法横向比较的问题。
媒体预览
编辑判断
做LLM路由的团队之前要么自研黑箱方案（如Martian、Not Diamond），要么用简单的latency-cost阈值规则，缺乏统一评估标准导致优化方向混乱。这个框架把路由拆解为encoder-scoring-decision三层，意味着你可以像搭乐高一样替换组件做消融实验，而不是每次重写整个系统。
论文已开源代码，但热度指标偏低（85 upvotes/1 comment），说明社区还在观望。如果你团队已有2+模型在线服务且成本敏感，建议直接拿它的benchmark跑现有路由策略，很可能发现30%以上的成本优化空间被遗漏了。