基准测试的难度分布诊断法
推荐指数 74.0 NO. 029 · 2026.10.31
upvotes138comments2
简介
论文将基准测试重新定义为难度空间上的经验测度，形式化了两类失效模式：测度不匹配（难度分布偏离目标）与覆盖缺口（难度盲区漏检模型缺陷），并给出诊断指标和改写算法。对正在自建评估体系的团队有直接工具价值，能避免"平均分高但关键区间翻车"的评估陷阱。
媒体预览
编辑判断
当前主流做法是用平均分或 pass@k 汇报基准结果，但这篇论文指出一个反直觉的问题：两个模型总分相同，可能在难度轴上呈现完全不同的能力剖面。作者提出的改写算法可以自动扩展覆盖薄弱的难度区间，这比手动 augment 数据更系统。
工程落地门槛较低，核心是对现有 benchmark 做难度分层和重采样，不需要重新标注大量数据。如果你在做垂直领域评估（如代码生成、数学推理），这个方法能帮你发现模型在哪些"中等偏难"区间其实是不稳定的，而这些区间往往是实际业务的高频失败点。
热度偏低（138 upvotes/2 comments）说明社区还没充分意识到评估方法论的重要性，但 Google DeepMind 和 Anthropic 的安全团队近半年都在推类似的方向，建议提前关注。