AI物理科研全流程评测基准发布
推荐指数 64.0 NO. 027 · 2026.11.06
upvotes44comments0
简介
FrontierPhysics 构建了一个包含 56 个真实物理研究任务的端到端评测框架，覆盖文献综述、实验设计到论文撰写的完整科研链路。这是首个用确定性验证器和专家评分同时考核研究质量与正确性的基准，对评估 AI 科研代理的实际能力有重要参考价值。
媒体预览
编辑判断
这个基准的含金量在于任务来自 42 位物理学家自己的真实研究，而非人工构造的简化问题。但 56 个任务、9 个领域的覆盖仍然偏窄，理论物理任务占比较高，实验物理的动手操作环节如何被 AI 代理执行尚不明确。更关键的是，专家评分的主观性较强，不同审稿人对同一篇 AI 生成论文的质量判断可能差异很大，这会影响基准的可复现性。目前论文未提及是否开源任务数据和验证代码，如果后续开放，社区可以扩展到化学、材料等更多领域。