随机采样压缩评测集，成本降90%
推荐指数 73.0 NO. 029 · 2026.11.07
upvotes50comments2
简介
BestRand 证明随机子集采样即可逼近完整 benchmark 的评估结果，并给出误差分布的解析近似来量化风险。对需要频繁评测模型的团队，这意味着可以大幅削减评估成本，同时通过其稳定性分析规避"踩中极端坏样本"的风险。
媒体预览
编辑判断
这篇论文戳中了一个行业潜规则：很多团队其实已经偷偷用随机子集跑评测，但心里没底。BestRand 的贡献是给了一个可计算的"底"——你能明确说出"这个子集结果有 95% 概率落在真实值 ±x% 内"。
实际落地时有个反直觉的点：论文说大模型能力越接近，随机采样的不稳定性反而越高。这意味着随着基座模型差距缩小，粗暴抽样的风险在变大，更需要 BestRand 这种带误差界的压缩方法。
代码和具体压缩策略未在摘要中提及，建议跟进论文是否开源了子集选择工具，这比理论本身对工程团队更有直接价值。