机器人世界模型解决幻觉操控
推荐指数 70.0 NO. 023 · 2026.08.15
upvotes79comments2
为什么值得看
DreamX-Phi 1.0 是一个动作条件化的视频世界模型，输入单帧图像、语言指令和机械臂动作序列，预测未来视觉观测。核心突破是用几何注意力编码、深度估计和教师模型蒸馏，确保预测不仅逼真，还能忠实反映指令指定的运动轨迹，避免"画面好看但动作错了"的幻觉问题。
媒体预览
编辑判断
机器人世界模型的老大难问题是"逼真但不忠实"——生成视频看着合理，实际机械臂轨迹完全跑偏。之前 UniPi、RT-X 等工作主要靠大规模数据硬压，DreamX-Phi 的做法是把几何约束显式注入注意力机制，用 frozen teacher 做掩码监督，相当于给模型装了个"物理监考"。
这个方法对算力要求相对友好，核心模块都是蒸馏来的，如果开源代码完整，做 sim-to-real 迁移的团队可以直接拿来替换现有的纯像素预测头。目前 upvote 79 但评论只有 2 条，说明社区还在观望实际 rollout 的稳定性，建议等作者放出机器人真机视频再决定是否跟。