7B模型原生生成2K音视频
推荐指数 79.0 NO. 023 · 2026.09.02
upvotes86comments5
为什么值得看
DreamX-Creator 1.0 用 7B 参数实现端到端联合音视频生成，支持首帧+文本条件输入，通过跨模态注意力和渐进式训练解决音画同步问题。对做视频生成工具的创业者而言，这意味着无需拼接独立音频管线即可实现影院级输出，大幅降低多模态产品工程复杂度。
媒体预览
编辑判断
当前主流方案如 Runway Gen-3、Pika 1.5 都是先出视频再后配音频，导致口型、碰撞声等事件存在明显时差感。这篇工作的关键工程判断是把音视频耦合放在网络后层而非全程纠缠，既保留了模态独立编码的效率，又通过 RLHF 级别的多模态反馈把同步精度拉上来。
7B 体量+2K 输出是个很有野心的组合，但论文没披露训练数据规模和推理时延，实际落地成本还需验证。如果开源代码和权重能放出，对做短视频工具、AI 广告素材生成的团队会是直接可用的基座模型。