Fable首破nanoGPT优化纪录
推荐指数 64.0 NO. 014 · 2026.08.22
发布2026/08/22Score118Comments30
为什么值得看
18个前沿模型参与153次自主运行，比拼nanoGPT训练优化速度。Fable以81.7%差距闭合夺冠，Claude Opus和Kimi K3分列二三，GPT-5.6系列表现中游。
编辑判断
这个benchmark测的不是代码能力，而是模型自主迭代调参的闭环效率——从写optimizer到验证loss的端到端无人干预。Fable能赢说明其在长程自主任务上的工具调用和错误恢复比Claude更强，这恰恰是AI Agent落地的关键瓶颈。
值得警惕的是GPT-5.6 Sol/Pro/Luna三兄弟集体掉队，OpenAI的coding agent能力可能已被Anthropic和国产模型甩开。如果你在做AI编程助手或AutoML产品，建议把Fable和Kimi K3的agent模式纳入对比基准，不要只盯着GPT-4o和Claude Sonnet。
另一个信号：所有top结果都来自24H或xhigh级别的compute budget，说明这个任务还没被"暴力破解"到低成本模型也能解，窗口期还在。
社区反馈
意见分歧 30 条评论
核心争论：这个基准测试是否真正衡量研究能力，还是只是模型写代码/优化能力的反映？
相关内容
Neat! The graphs show the "best validated result" for each model. I wonder how much variation there is between runs for a model?
“We ran 153 autonomous runs across 18 frontier models on the nanoGPT optimizer speedrun.” Uh.. okay.. but whats a run… read blog “We want to measure how well frontier models can conduct research….””we ran 153 autonomous runs on the nanoGPT optimizer speedrun across” Okay but what is a optimiser run
I think that's explained here: https://www.primeintellect.ai/blog/measuring-autonomous-rese... Basically they do 8 runs trying to optimize to under 3.28 loss in the fewest training steps possible under time/token constraint. I dunno why 18 * 8 != 153 (it's 144)