扩散模型RL微调稳定性问题被解决
推荐指数 75.0 NO. 021 · 2026.10.12
upvotes146comments1
为什么值得看
DiffusionART提出了一种新的扩散模型强化学习方法，通过聚合奖励和正向-反向一致性机制，解决了现有在线RL微调中效率与稳定性不可兼得的痛点。对需要定制扩散模型生成质量的AI工程师来说，这意味着可以用更稳定的训练流程替代手工调参的EMA技巧。
媒体预览
编辑判断
Flow-GRPO这类反向过程方法的 credit assignment 问题一直是扩散模型RL微调的暗礁，DiffusionNFT虽然快但EMA调参几乎成了黑魔法。这篇论文的关键发现是NFT目标函数里藏着一股正向-反向一致性力，正负样本训练只能部分抵消它——这解释了为什么EMA能work，它不是靠off-policy rollout，而是靠恢复被扰动的 consistency。
从工程角度看，DiffusionART的aggregation-first设计把per-prompt奖励聚合后再做tilting，避免了逐样本的方差爆炸。如果开源代码跟得上，做图像/视频生成定制化的团队可以把它当成DiffusionNFT的直接替代，尤其是不想在EMA衰减率上花两周调参的小团队。