TokenRouter：细粒度Token级LLM路由系统
推荐指数 66.0 NO. 025 · 2026.10.09
upvotes93comments1
为什么值得看
TokenRouter 是一个面向 Token 级 LLM 路由的高效推理服务系统，解决了现有系统在细粒度路由下的步骤不同步和批次准入延迟问题。对需要多模型协同降本的 AI 基础设施团队有直接工程价值。
媒体预览
编辑判断
当前生产环境的多模型路由基本停留在 session 或 query 级别，比如 RouteLLM 和 Martian 那套方案，粒度粗导致质量损失明显。TokenRouter 的难点不在算法而在系统：不同模型的 decode step 速度不一致时，batch 会严重碎片化，vLLM 和 TensorRT-LLM 这类单模型假设的系统根本扛不住。
论文提到用统一调度层把 prefill 和 decode 解耦，并做了动态 batch 重组，这个思路跟最近 Google 的 disaggregated serving 方向一致，但 TokenRouter 更聚焦在多模型混布场景。如果团队已经在用多模型策略降本，这是目前少有的工程可行方案，建议等开源后压测对比纯 query-level 路由的收益。