VLA模型空间感知能力突破
推荐指数 70.0 NO. 028 · 2026.11.08
upvotes81comments3
简介
SLA通过持续预训练将冻结的3D感知模型与VLA策略对齐,用特征门控和概率状态 dropout 提升机器人空间理解。机器人团队终于不用在语义理解和3D控制之间二选一了。
媒体预览
编辑判断
VLA模型之前的空间能力主要靠2D视觉语言预训练'蹭'来的,真到机械臂抓东西就露馅。SLA的关键设计是训练时把3D感知模型冻住、只训对齐层,这样不会破坏VLA原有的语义能力,又能注入几何先验。
特征依赖门控和概率状态dropout这两个 trick 值得细看:前者让模型自己决定什么时候该信3D特征、什么时候该信2D语义,后者防止模型对特定传感器配置过拟合。代码和模型权重是否开源还没确认,如果放出来,做具身智能的团队可以直接拿来替换OpenVLA或RT-2的backbone。
算力需求是落地关键——论文没提训练成本,但 continual pre-training 通常比从头训省一个数量级,中小企业应该能玩得起。