让VLM通过物理交互学空间推理
推荐指数 70.0 NO. 022 · 2026.09.25
upvotes41comments3
为什么值得看
Spatial-Interactor提出用可观测物理世界的交互轨迹训练VLM的空间推理能力,通过动作连接前后观测来监督状态转移学习。现有VLM在动态环境的状态追踪上普遍薄弱,这条路径可能补全视觉语言模型在机器人、AR等场景的关键短板。
媒体预览
编辑判断
当前VLM的空间训练数据以静态问答为主,比如问两个物体的左右关系,模型靠记忆偏置就能猜对。这篇的核心区别是强制模型从交互序列中推断不可见的中间状态,类似人类玩魔方时的心智旋转。
从工程落地看,最大的门槛是数据:需要带物理仿真的交互轨迹,比静态标注贵一个数量级。论文没提是否开源训练数据,如果只有方法没有数据管线,复现价值会打折扣。
做机器人导航或AR空间计算的同学可以跟踪,但如果你的场景是静态图像理解,这个工作的优先级不高。