小模型+Claude Opus 省4倍成本达SOTA
推荐指数 69.0 NO. 016 · 2026.11.07
发布2026/11/06Score214Comments46
简介
Jev决策模型在不确定时调用Claude Opus做判断，混合架构在身份解析任务上达到前沿准确率，成本仅为纯Opus方案的1/4。关键洞察：Jev的置信度校准优于Luna，低置信度触发大模型调用是性价比最优的路由策略。
编辑判断
这个实验验证了一个被讨论很久但少有人跑通的方向：用小模型的置信度当路由信号，而不是用规则或固定比例调度。之前像Martian、RouteLLM这类路由方案多靠学习器预测哪个模型更好，这里直接拿模型自身校准度说话，工程上轻很多。
值得警惕的是，这个4倍省钱的前提是任务本身有明确对错（身份解析），且Jev的88%基线够高。换成开放性生成任务，置信度和质量的相关性会断崖下跌。做客服、代码生成这类场景的团队，别直接套这个结论，需要先测自己数据上的校准曲线。
如果已经在用Claude 3.5/4做批处理，建议花一天时间用任何小模型（甚至本地Llama 3B）跑同样的置信度阈值实验，成本结构可能完全改写。
社区反馈
正面 48 条评论
核心争论：小模型当编排器还是执行者更优，以及置信度校准质量决定路由策略成败
What about Sonnet? Haiku? Does it need Opus specifically?
Seems to me that the important factor is that Jev has well-calibrated confidence for this task. Which secondary expensive model it defers to is probably less critical in this technique as long as that model has higher performance than Jev.
Yeah exactly - very interesting that Luna is calibrated so poorly despite working better on easier problems.