AI独立复刻完整程序基准测试
推荐指数 74.0 NO. 011 · 2026.08.04
发布2026/08/03Score52Comments55
为什么值得看
MirrorCode是Anthropic与METR联合推出的长周期编码基准，要求AI在无源码情况下端到端复刻完整程序并通过全部测试。现有基准多测短任务，此测试直接检验AI自主承担真实软件工程项目的上限。
编辑判断
MirrorCode的设计暴露了一个行业盲区：当前AI编程工具（如Cursor、Copilot）的评估体系严重偏向'代码补全'和'单文件修改'，但真实工程是跨模块、跨语言的系统集成。这个基准的25个目标程序覆盖了解释器、静态分析等需要深度理解的领域，意味着未来模型评估将从'写代码'转向'读文档+逆向工程+架构决策'的综合能力。
对AI工程师的直接影响是：如果你的团队还在用HumanEval或SWE-bench选型模型，需要升级评估维度。METR此前以AI安全评估著称，这次切入软件工程，暗示行业开始关注'AI能自主完成多大项目'这一逼近AGI的关键阈值。
社区反馈
意见分歧 51 条评论
核心争论：AI能否独立完成长期软件工程，还是必然陷入架构腐化与局部最优？
I'm curious about that too. I'm building a language with AI, and when I leave the AI running on its own, it keeps generating code in strange directions. I wonder what kind of structure AI-only code would have.
Is it like self driving cars, where 100% non-human code would be arguably safer? But then it always comes down to having some human who is accountable for verifying the behavior. I think ultimately we just need a better set of languages and frameworks to minimally encode the types of applications we
How would 100% non-human code possibly be safer?