MLLM改个输出头就能做视频决策
推荐指数 67.0 NO. 024 · 2026.10.15
upvotes189comments1
为什么值得看
VideoJev 把预训练多模态大模型的自回归解码换成共享打分头，直接对视频时间区间和文本选项评分，统一了时间定位与视频问答。对做视觉 Agent 的团队来说，这意味着不用从头训模型，现有 MLLM 改个输出层就能实时做视频理解和决策。
媒体预览
编辑判断
当前视频 Agent 的主流做法是用 GPT-4V 或 Qwen-VL 做帧级理解再外挂规则引擎做决策，延迟高且动作空间离散。VideoJev 的 trick 在于把生成任务变成评分任务，避免了自回归解码的逐 token 开销，单次前向就能输出时间区间或选项概率。
从论文摘要看训练细节披露有限，关键问题是这个共享头是否需要端到端微调、冻结 MLLM backbone 的 LoRA 方案是否 work。如果开源代码包含高效的微调 pipeline，做机器人、自动驾驶感知决策的团队可以优先试跑，比直接上原生视频生成模型轻量得多。