多奖励动态路由优化音视频生成
推荐指数 60.0 NO. 025 · 2026.10.03
upvotes117comments1
为什么值得看
提出Adaptive Reward Routing方法，在训练过程中动态调整强化学习的更新位置和奖励权重组合，解决音视频联合扩散模型中多目标优化的自适应问题。对做多模态生成模型的团队有直接参考价值，尤其是同时优化质量、对齐和同步性时遇到奖励冲突的场景。
媒体预览
编辑判断
现有做多奖励RL的工作比如VideoPoet、UniAD大多固定奖励权重或手工设计调度策略，训练后期经常出现某个奖励主导梯度导致模型坍缩。这篇的核心创新是把"在哪更新"和"怎么组合奖励"都变成可学习的，用前向过程的信息动态路由，避免了反向传播 through diffusion 的算力噩梦。
从工程角度看，forward-process RL 意味着不需要存完整的反向图，显存开销接近普通推理，这个设计选择比方法本身更值得关注。如果开源代码，建议重点看他们的路由网络结构和奖励归一化实现，这两个细节决定了能不能复现。