GRPO流式视频决策终于算清账
推荐指数 79.0 NO. 025 · 2026.11.06
upvotes77comments1
简介
TurnWise 把 GRPO 的信用分配从整条轨迹拆到每个决策回合，解决流式视频模型"该说时不说、不该说时乱说"的奖励混淆问题。做视频理解或实时交互 Agent 的团队可以直接替换现有 GRPO 实现，无需改模型架构。
媒体预览
编辑判断
流式视频 RL 的痛点不是奖励设计不够花哨，而是 GRPO 的轨迹级优势估计天然适合单轮任务，搬到多轮决策场景就会"大锅饭"。TurnWise 的做法本质上是用 turn-level baseline 替代 trajectory baseline，和 NLP 里早年从 sentence-level BLEU 到 word-level 奖励的演进逻辑一致。
现有开源实现比如 OpenRLHF、verl 都没做这种细粒度拆分，如果你在用 GRPO 训视频 Agent 或直播弹幕机器人，这个改动成本很低但信号质量提升明显。论文提到只需要改 advantage computation 部分，不触及模型结构。
不过要注意：turn 的边界怎么定义（固定帧数还是事件触发）论文没给通用方案，落地时可能需要针对自己的视频粒度调参。