MLLM隐式推理为何忽视图像证据
推荐指数 66.0 NO. 025 · 2026.10.02
upvotes200comments1
为什么值得看
研究发现多模态大模型的隐式视觉推理存在"证据-信用鸿沟"：latent token对改变答案的图像扰动反应微弱。问题根源在于GRPO训练仅靠最终答案奖励，缺乏对推理过程的显式监督。
媒体预览
编辑判断
这篇论文戳中了一个被忽视的工程痛点：大家都在追DeepSeek-R1的GRPO训练范式，但把文本CoT那套直接搬到多模态隐式推理会出系统性bug。图像扰动不敏感意味着模型可能在"幻觉式推理"——latent token里跑的其实是文本先验，不是真的在看图。
落地层面，如果你正在用GRPO训视觉Agent或视觉推理模型，建议检查一下中间latent的注意力热图，别只盯着最终答案的reward曲线。论文没有放代码，但方法不复杂，复现成本低于一次完整GRPO训练。