视频蒸馏训练学会"挑重点"
推荐指数 70.0 NO. 023 · 2026.05.08
upvotes108comments1
为什么值得看
Stream-R1 在 DMD 蒸馏中引入可靠性和困惑度自适应加权，让模型自动识别哪些 teacher 输出值得学。视频生成质量提升的同时不增加推理开销，对实时流式视频生成场景有直接价值。
媒体预览
编辑判断
当前视频蒸馏的普遍做法是把 teacher 的每一帧输出当"标准答案"来学，但 teacher 本身在难样本上也会犯错，这种噪声会系统性污染 student。Stream-R1 的 trick 在于用 perplexity 衡量 teacher 的不确定性、用可靠性过滤低质量 rollout，本质上是在蒸馏里做了一次"课程学习"的动态筛选。
实验显示在 VBench 文本对齐和动作质量上有明显提升，但论文没给具体的训练时间对比和开源代码链接，想跟进的团队建议先邮件作者确认 release 计划。如果开源，这个方法几乎可以直接插进任何基于 DMD 的视频生成管线里。