机器人视觉不用编码器了
推荐指数 71.0 NO. 026 · 2026.11.06
upvotes56comments2
简介
NEO-VLA 直接让动作策略访问视觉网络各层的动态表征，而非依赖固定的视觉编码器输出。这对需要精细空间感知的机器人操作任务可能带来鲁棒性提升，视觉-语言-动作模型的架构范式或被改写。
媒体预览
编辑判断
当前主流 VLA 模型如 RT-2、OpenVLA 都沿用预训练视觉编码器加冻结或微调的模式，本质上是把视觉感知当黑盒。NEO-VLA 的激进之处在于把动作头直接插到视觉骨干的中间层，让策略自己决定哪一层的特征对当前任务最有用——这类似于 NLP 里 P-tuning 或 LoRA 对预训练模型的重新激活思路，但在视觉-动作跨模态上是首次系统尝试。
潜在风险是训练稳定性：不同层的特征尺度差异大，联合优化容易发散。论文如果开源了训练代码和收敛技巧，值得复现；否则学术价值大于工程价值。56 upvotes 但仅 2 条评论，说明社区还在观望，等代码放出来再判断不迟。