视频生成实时交互评测基准发布
推荐指数 77.0 NO. 022 · 2026.10.23
upvotes318comments1
简介
StreamEval 首个针对交互式流式视频生成的评测基准，覆盖 5 类任务共 300 个测试用例，每段 15-300 秒。发现当前模型视觉质量虽高，但请求执行的可靠性和状态一致性仍是硬伤，做实时 AI 视频交互的产品团队可直接参考其测试框架定位瓶颈。
媒体预览
编辑判断
当前视频生成社区扎堆卷 Sora 类的单段生成质量，但真正的产品化瓶颈在流式交互——用户不会等 10 秒才看到反应。StreamEval 把评测粒度拆到秒级增量请求，这恰恰是现有 VBench、FETV 等静态基准覆盖不到的维度。
从结果看，模型在 avatar 对话等需要长程状态保持的任务上翻车最严重，说明 DiT 或扩散架构的因果一致性仍是未解难题。做直播数字人、实时游戏 AI 生成的团队，建议直接拿这 300 个 case 跑一遍自己的管线，比内部体感测试靠谱得多。代码和测试集已随论文发布。