LLM自研Agent框架能力首测
推荐指数 64.0 NO. 021 · 2026.09.04
upvotes186comments2
为什么值得看
HarnessDev提出新评估范式：不考任务结果，考LLM能否自主搭建并迭代优化Agent执行框架。实验发现模型自建的harness能力差异悬殊，且跨模型迁移效果差，暴露当前Agent生态的隐性瓶颈。
媒体预览
编辑判断
当前Agent社区存在一个隐性假设：模型能力=任务表现，框架只是 plumbing。这篇论文把这个假设翻过来了——固定模型权重，换框架能让性能大幅波动，说明框架本身才是被低估的变量。
更关键的是自研框架的跨模型迁移极差，这意味着各家Agent生态可能走向碎片化，而非像模型权重那样趋于收敛。如果你在做Agent平台或中间件，需要重新评估"框架即护城河"的可能性，而不是all in某个固定架构。