视频模型
推荐指数 72.0 NO. 019 · 2026.05.21
upvotes65comments1
为什么值得看
视频多模态大模型的音频理解能力实际上是视觉驱动的幻觉，模型靠画面猜声音而非真正处理音频流。该发现对构建可靠的音视频对齐系统有重要警示意义，做视频理解产品的团队需警惕这一盲区。
媒体预览
编辑判断
这个问题在 GPT-4o、Gemini 等闭源模型和 Qwen2.5-Omni、LLaVA 等开源模型上普遍存在，说明当前音视频融合架构存在系统性缺陷——音频编码器往往被视觉特征"淹没"。
论文提出的干预框架值得借鉴：通过遮挡视觉或音频输入来量化模型的真实模态依赖度，这比传统的端到端评测更能暴露问题。如果你在做视频问答、直播内容审核等需要真正理解声音的产品，建议先用这个方法测一下现有模型的音频独立理解能力，再决定是否需要单独训练音频专用模块。
代码和评测工具尚未完全开源，但方法论本身不难复现。