LLM智能体长程任务训练提速新方法
推荐指数 71.0 NO. 030 · 2026.10.29
upvotes316comments2
简介
MPO通过"回合级"信用分配替代传统token级优化，解决长程LLM Agent训练中信用分配稀疏的问题。在4B和30B模型上搜索、工具调用等任务均超越强RL基线，为Agent RL训练提供了更高效的优化范式。
媒体预览
编辑判断
当前Agent RL训练的主流做法是用PPO或GRPO做token级优化，但长程任务中大部分token的critic value几乎无变化，导致梯度噪声大、收敛慢。MPO的核心洞察是把优化锚点从token提到turn级别，相当于给RL找到了一个更粗粒度的"中间层"，这和人类反馈RL中"回合制"评估的直觉一致。
实验覆盖的4B到30B-A3B规模说明方法对中小模型友好，不像部分SFT+RL工作只验证在70B+。如果开源代码，做Agent infra的团队可以很快接入现有训练管线替换掉标准PPO，预计能减少30-50%的训练步数。