ARC-AGI-3上线：AI效率基准新标尺
推荐指数 67.0 NO. 010 · 2026.07.26
发布2026/07/25Score165Comments130
为什么值得看
ARC-AGI-3从被动推理测试升级为交互式环境适应挑战，首次将成本效率与性能并列评估。对AI工程师意味着，未来模型选型不能只看准确率，推理成本曲线将成为核心指标。
编辑判断
ARC-AGI-3的散点图设计暴露了一个行业盲区：当前主流评测（如MMLU、HumanEval）只测能力上限，不测边际成本。这导致o1类模型疯狂堆推理时间刷榜，但生产环境根本用不起。
趋势线的存在直接打脸了"Scaling Law万能论"——很多模型思考越久收益越平坦，说明推理架构存在根本性瓶颈。做Agent infra的团队应该用这个工具做选型，而不是盲目跟风吹长思考。
更深层信号：François Chollet主导的ARC系列一直反对用海量数据暴力拟合，这次加入交互维度，是在逼行业走向"少量样本+在线适应"的路线。预训练派和推理派的技术路线之争，这个榜单会成为关键战场。
社区反馈
意见分歧 86 条评论
核心争论：基准测试可信度与模型泛化能力之争，Opus 5 领先是否因数据污染
It's actually crazy to see the difference between opus 5 and the next best model on ARC AGI 3 when you actually look at the ARC AGI problems
How believable is this benchmark? EG maybe opus was training on this? (You can try to identify the IP of wherever previous ARC questions came from)
That’s why you have a private dataset.