System One模型评测新基准
推荐指数 76.0 NO. 027 · 2026.11.14
upvotes73comments2
简介
SO-Arena 首个针对 System One 模型(快速决策、非 CoT 生成)的细粒度评测基准,覆盖 11 个领域和 5 大能力族。发现模型整体准确率与决策可靠性脱钩,规模扩展和推理能力增益因领域而异,直接挑战了"高分即好用"的选型惯性。
媒体预览
编辑判断
当前行业选型 System One 模型时普遍看 MMLU、Arena Elo 等聚合指标,这篇工作揭示了致命盲区:某模型数学得分高不代表金融风控场景可靠,整体排名靠前也可能在法律合同审查上频繁出错。这种"能力光谱"视角对做模型路由(model routing)和领域特化部署的团队尤其关键,建议直接拿 SO-Arena 的故障案例做红队测试。论文未提及是否开源评测代码,若后续放出,可能成为替代传统 leaderboard 的选型基础设施。