AMAZINGINDEX.COM 日报快照
55.5
VOL. 2026.06
2026.06.24
← 返回 2026.06.24 日报
日报快照 · Daily Snapshot
NO. 023

LLM工具规划新基准:1665工具极限测试

#HF_PAPERS HuggingFace Papers 2026.06.24
推荐指数 63.0 NO. 023 · 2026.06.24
upvotes78comments3

PlanBench-XL 推出包含327个零售任务、1665个工具的交互式基准,首次在检索受限条件下测试LLM代理的长程规划能力。对构建复杂Agent系统的工程师而言,这是目前最接近真实生产环境的评估标准。

LLM工具规划新基准:1665工具极限测试

现有Agent基准如ToolBench、APIBench大多假设工具全集可见,但真实场景里API文档往往分散在数千个端点中,代理必须边检索边规划。PlanBench-XL 把工具可见性压到检索受限,逼代理做"计划-检索-再计划"的循环,这恰好是ReAct、Reflexion等框架在生产环境里表现不稳定的主因。

论文没开源完整代码但公布了任务定义格式,做Tool-Agent infra的团队可以先用它的任务结构跑自己的检索模块,快速定位规划断点在哪一步。如果后续放出交互环境,这个基准很可能成为Agent方向的新标配。

查看原文 →