离线毫秒级路由本地/云端LLM
推荐指数 79.0 NO. 008 · 2026.06.29
发布2026/06/28Score105Comments52
为什么值得看
Wayfinder Router通过分析提示词结构（长度、代码、列表）和语义特征（数学证明、硬约束），在微秒内离线决定将其路由到本地小模型还是云端大模型，无需调用任何模型做决策。对成本敏感的AI团队来说，这解决了"为省API费用却要先花一次API调用做路由"的悖论，实际部署中本地+云端混合策略的门槛大幅降低。
编辑判断
之前做本地-云端混合推理的团队，要么用规则硬编码（维护成本高、泛化差），要么再调一个小模型做分类器（延迟+额外成本，违背了省钱的初衷）。Wayfinder的巧思是把"路由决策"本身变成纯特征工程问题，用结构+词汇的启发式规则替代模型推理，这跟AWS之前公布的SageMaker路由策略思路相近，但完全离线且开源。
跟LiteLLM、Portkey这类网关工具比，Wayfinder不做模型聚合管理，只专注"去哪"这一个决策，定位更轻。如果你的产品线已经在用Ollama/llama.cpp跑本地模型，同时有GPT-4/Claude的付费接口，这个工具半小时就能接进去做A/B测试——特别适合客服、代码助手这类请求方差极大的场景，便宜查询的本地命中率直接决定月度账单。
社区反馈
正面 49 条评论
核心争论：LLM路由应停留在应用层还是推进到OS基础设施层
相关内容
Love to see local/cloud routing explicitly supported. I'm building another router for routing between local and remote models, ShowHN coming up later today. Here's a sneak preview of the github: https://github.com/try-works/role-model
Posted my ShowHN: https://news.ycombinator.com/item?id=48706181
This is the way!