让MLLM表征真正驱动视频生成
推荐指数 72.0 NO. 022 · 2026.10.24
upvotes163comments1
简介
提出Factor-Aware Predictive Learning方法，让视频DiT能利用多模态大语言模型的表征实现稀疏时序推理和细粒度电影级控制。解决了MLLM表征易被DiT原生条件路径绕过的问题，对想做可控视频生成的团队有直接参考价值。
媒体预览
编辑判断
之前把MLLM接到视频生成里的工作，比如Show-1、VideoComposer，大多把语言表征当辅助条件直接拼进去，DiT很容易学绕过。这篇的核心 trick 是 staged grounding：先用MLLM做稀疏帧的因子分解（角色/场景/动作/镜头），再逐阶段优化注入位置，强迫DiT真正依赖这些表征而不是自己的shortcut。
从摘要看没给具体数据集指标，但163 upvotes在HF Papers里算高的，说明社区认可这个方向。落地门槛在于需要预训练MLLM+DiT的联合优化，算力不友好，更适合有视频生成基座模型的团队跟进，小团队建议等开源代码再评估复现成本。