实时视频编辑终于能用了
推荐指数 74.0 NO. 025 · 2026.07.01
upvotes68comments2
为什么值得看
LiveEdit 提出首个面向实时场景的流式视频编辑框架,通过三阶段蒸馏和 AR 掩码缓存实现逐帧因果编辑。解决了扩散视频编辑中背景漂移和延迟过高的工程死结,直播、实时特效等场景可直接落地。
媒体预览
编辑判断
当前流式视频生成的主流方案如 StreamingT2V、Wan2.1 都只做生成不做编辑,因为编辑需要严格保留非编辑区域,而生成模型每帧独立采样必然导致背景抖动。LiveEdit 的关键设计是把编辑任务拆成"全局结构蒸馏 + 局部区域控制",用自回归掩码缓存替代每帧全图重算,把延迟压到实时级别。
论文没有公布具体帧率和显存需求,但三阶段蒸馏的架构暗示训练成本可控,适合已有视频扩散模型的团队做增量改造。如果开源代码放出,直播换脸、实时广告植入这类之前只能走传统图形管线的场景,可能会快速被扩散方案替代。
相关内容
Leveraging Image Manipulation Priors for Instruction-based Video Editing Video editing aims to modify input videos according to user intent. Recently, end-to-end training methods have garnered widespread attention. Video-P2P: Video Editing with Cross-attention Control Early work on diffusion-based video editing using cross-attention control, foundational for subsequent real-time streaming approaches.