VLM零样本操控机器人与GUI
推荐指数 72.0 NO. 023 · 2026.09.11
upvotes98comments2
为什么值得看
Show-Harness 让视觉语言模型通过离散语义动作接口直接控制机器人和图形界面，无需为每个平台重新训练模型。对做具身智能和自动化Agent的团队来说，这可能是降低机器人部署成本的关键抽象层。
媒体预览
编辑判断
之前 VLM 做机器人控制的主流路线是 RT-2、OpenVLA 这类端到端方案，需要大量机器人轨迹数据且迁移性差。Show-Harness 的关键创新是把动作空间拆成语义层和物理层，VLM 只负责高层意图推理，底层执行交给轻量级的 embodiment-specific interpreter。
这个设计的工程价值在于：新机器人接入只需要写几十行的 interpreter，不需要重新收集数据训练 VLM。不过论文里没提语义动作的完备性怎么保证，复杂连续控制任务（如精密装配）是否适用还是未知数。
代码和模型权重未明确开源，如果是封闭方案，实际落地会受限于 HuggingFace 自家的机器人生态。