VLM 主动探索 3D 场景能力现重大缺陷
推荐指数 57.0 NO. 024 · 2026.10.23
upvotes129comments2
简介
SpatialScout 是首个评估 VLM 智能体主动 3D 物体建图能力的基准测试，覆盖 80 个室内场景的 3140 个目标物体。当前主流 VLM 在自主探索构建精确度量地图方面存在显著差距，空间智能仍是未解难题。
媒体预览
编辑判断
现有 VLM 在静态问答上表现亮眼，但 SpatialScout 暴露了一个被忽视的盲区：模型无法像人类一样主动移动视角、整合多帧信息来构建可量化的空间地图。这对机器人导航、AR 眼镜等需要实时空间理解的场景是致命短板。
之前评估空间能力主要靠 ScanQA、EQA 等被动问答数据集，SpatialScout 把相机控制权交给模型，难度陡增。从结果看，即便是 GPT-4V 级别的模型，在物体定位精度上仍远逊于传统 SLAM 管线。
做具身智能或机器人落地的团队需要警惕：VLM 的「空间感」大多是幻觉，当前生产环境仍需耦合传统几何方法。论文代码和场景数据已开源，建议直接跑 benchmark 验证自己的 VLM 方案。