Kandinsky 6.0 实现音画同步生成
推荐指数 48.0 NO. 020 · 2026.10.07
upvotes113comments2
为什么值得看
Kandinsky 6.0 Video 发布 3B 和 29B 两个版本，支持文本/图像生成 5 秒带 44kHz 同步音频的视频，内置超分至 1080p。唇音同步和多模态一致性是视频生成长期痛点，该方案直接瞄准了 Runway、Pika 等工具在音频上的短板。
媒体预览
编辑判断
当前主流视频生成工具如 Runway Gen-3、Pika 1.5 都把音频当作后处理环节，要么靠用户上传音轨、要么用 TTS 简单拼接，唇形同步基本靠抽卡。Kandinsky 6.0 的双流 CrossDiT 架构把视频和音频流在注意力层双向交叉，本质上是把音视频联合分布一起建模，这比分别生成再对齐的 pipeline 在理论上更干净。
29B 参数对推理成本是个考验，但 3B 的 Lite 版本给了中小团队一个可实验的入口。如果开源权重和推理代码如期放出，做短视频生成、虚拟人直播的团队可以优先测试它的唇同步精度，这比看论文指标更真实。需要关注的是 5 秒时长限制——对广告素材够用了，但对叙事性内容还是太短，后续会不会有时长扩展版本值得跟踪。