AMAZINGINDEX.COM 让生活多一点 Amazing
44.8
VOL. 2026.09
2026.09.25
← 返回 2026.09.25 日报
日报快照 · Daily Snapshot
NO. 022

让VLM通过物理交互学空间推理

#HF_PAPERS HuggingFace Papers 2026.09.25
推荐指数 70.0 NO. 022 · 2026.09.25
upvotes41comments3

Spatial-Interactor提出用可观测物理世界的交互轨迹训练VLM的空间推理能力,通过动作连接前后观测来监督状态转移学习。现有VLM在动态环境的状态追踪上普遍薄弱,这条路径可能补全视觉语言模型在机器人、AR等场景的关键短板。

当前VLM的空间训练数据以静态问答为主,比如问两个物体的左右关系,模型靠记忆偏置就能猜对。这篇的核心区别是强制模型从交互序列中推断不可见的中间状态,类似人类玩魔方时的心智旋转。

从工程落地看,最大的门槛是数据:需要带物理仿真的交互轨迹,比静态标注贵一个数量级。论文没提是否开源训练数据,如果只有方法没有数据管线,复现价值会打折扣。

做机器人导航或AR空间计算的同学可以跟踪,但如果你的场景是静态图像理解,这个工作的优先级不高。

查看原文 →