让工具使用训练告别
推荐指数 68.0 NO. 029 · 2026.10.28
upvotes330comments2
简介
Trajectory2Gym 提出用组合覆盖和决策 grounding 合成交互数据，替代传统的成功轨迹收集来训练工具使用智能体。对构建可靠工具调用能力的 AI 工程师有直接价值，能缓解多步推理中动作与观察脱节的问题。
媒体预览
编辑判断
当前工具使用训练的主流做法是用 ReAct、ToolFormer 等框架收集成功轨迹后直接做行为克隆，但这类数据往往存在"事后合理化"问题——智能体看到了结果才反推动作合理，而非决策时刻的信息确实支持该动作。Trajectory2Gym 的核心创新是显式建模决策时的信息边界，类似强化学习中的 credit assignment，但用在监督学习的数据合成阶段。
论文提到的方法需要知道工具的状态转移函数来合成交互，这在通用 API 场景（如调用搜索引擎、数据库）中容易获取，但在物理工具操作或第三方黑盒 API 中会成为瓶颈。如果开源代码包含状态转移的自动抽取模块，实际落地价值会大幅提升；否则更适合内部工具链完善的团队尝试。