AMAZINGINDEX.COM 每天向上一点
58.1
VOL. 2026.11
2026.11.14
← 返回 2026.11.14 日报
日报快照 · Daily Snapshot
NO. 027

System One模型评测新基准

#HF_PAPERS HuggingFace Papers 2026.11.14
推荐指数 76.0 NO. 027 · 2026.11.14
upvotes73comments2

SO-Arena 首个针对 System One 模型(快速决策、非 CoT 生成)的细粒度评测基准,覆盖 11 个领域和 5 大能力族。发现模型整体准确率与决策可靠性脱钩,规模扩展和推理能力增益因领域而异,直接挑战了"高分即好用"的选型惯性。

System One模型评测新基准

当前行业选型 System One 模型时普遍看 MMLU、Arena Elo 等聚合指标,这篇工作揭示了致命盲区:某模型数学得分高不代表金融风控场景可靠,整体排名靠前也可能在法律合同审查上频繁出错。这种"能力光谱"视角对做模型路由(model routing)和领域特化部署的团队尤其关键,建议直接拿 SO-Arena 的故障案例做红队测试。论文未提及是否开源评测代码,若后续放出,可能成为替代传统 leaderboard 的选型基础设施。

查看原文 →