单图生成4D世界模型操控机器人
推荐指数 68.0 NO. 026 · 2026.07.09
upvotes72comments0
为什么值得看
RynnWorld-4D 从单张 RGB-D 图像和语言指令生成同步的 RGB、深度、光流数据,构建多模态 4D 世界模型。机器人操作从此有了物理感知的"想象力",不再依赖海量真实交互数据。
媒体预览
编辑判断
之前机器人世界模型要么只生成像素视频(缺乏几何一致性),要么需要多视角输入(部署成本高)。这篇把 RGB、深度、光流绑成 RGB-DF 统一生成,本质是用几何约束给视频生成加了物理锚点,避免了纯像素幻觉。
逆动力学策略直接从生成的 4D 状态预测动作,跳过了传统两阶段(先想象再规划)的误差累积。不过论文没提推理速度,扩散模型在真实机器人上的实时性仍是问号。
做 sim-to-real 迁移或数据合成的团队可以跟进,如果代码开源,这套 RGB-DF 的表征方式可能替代纯 NeRF/3DGS 路线成为新的中间表示标准。
相关内容