首个考核AI造AI的基准测试
推荐指数 70.0 NO. 019 · 2026.10.14
upvotes201comments1
为什么值得看
AgentSWE 是首个针对编码智能体构建完整智能体的基准测试，覆盖从自然语言需求创建、生产代码编辑到性能优化的全生命周期。它用25个真实委托任务替代传统考试题，检验编码智能体交付的代理是否真正可用而非仅表面达标。
媒体预览
编辑判断
当前编码智能体评测大多聚焦解题能力，但工程 reality 是需求模糊、验收靠人眼——这正是 SWE-bench 系列没覆盖的灰色地带。AgentSWE 把任务设计成委托制而非考试制，builder 可以迭代、用少量样例自验，更贴近创业公司外包一个 agent 项目的真实场景。
它的三阶段设计（Create/Edit/Optimize）直接对应了 AI 工程团队最常见的三种活：从零搭 agent、给现有系统加功能、调 latency 或 cost。如果后续开源数据集和评估 harness，很可能成为 AI 应用公司的内部 hiring bar 或外包验收标准。
热度 201 upvotes 但仅 1 条评论，说明社区认可问题定义但还在等代码——建议关注作者是否放出实现细节，这比论文本身更决定能不能快速用起来。