VLM 纯代码操控双臂机器人
推荐指数 71.0 NO. 020 · 2026.10.20
upvotes276comments2
为什么值得看
HexaShell 用极简 harness 让 VLM 通过视觉和自写工具直接控制双臂机器人，在 RoboDojo 刷榜但接触型任务仍翻车。这说明代码 agent 做机器人控制的 ceiling 已摸到，contact-rich 场景仍是硬边界。
媒体预览
编辑判断
之前 VLM 做机器人控制的主流路线是生成高层规划再交给底层策略执行，HexaShell 把 harness 削到只剩运动转换，逼 VLM 自己写工具闭环控制。这种极简设计反而暴露了 VLM 的盲区：力触觉反馈缺失时，接触任务只能靠视觉猜，失败率陡增。
如果你在做机器人 foundation model，这篇的启示是别急着堆模型能力，先想清楚 sensor modality 的 coverage gap 怎么补。代码未确认开源，但 harness 设计足够简单，复现门槛不高。