Falcon 实现端侧音视频分离
推荐指数 69.0 NO. 029 · 2026.10.30
upvotes149comments1
简介
Falcon 提出轻量级因果音视频目标说话人提取方法，参数量和延迟大幅降低。配套发布的 RealSSA 基准首次覆盖真实场景的混响、远近场干扰和突发噪声，填补了现有 benchmark 只测双人场景的漏洞。
媒体预览
编辑判断
现有 AVTSE 系统要么用 Whisper+视觉引导做后处理（非因果、延迟高），要么像 VoiceFilter-Lite 那样轻量但只能在干净双人场景工作。Falcon 的关键设计是把视觉编码器的输出直接注入流式音频分离器的每一层，而不是只在输入端做一次拼接，这样视觉信息能持续修正分离掩膜。
论文没有公布具体参数量，但从 latency 数字看应该能在 Snapdragon 8 Gen 3 上实时跑。RealSSA 的 4-6 人场景数据比现有 WSJ0-2mix 难一个量级，如果后续社区能基于这个 benchmark 统一比较，之前很多论文的 SOTA 声明要重新打折扣。
做视频会议、AR 眼镜音频降噪的团队可以优先跟进，代码和模型权重已开源。