WorldCrafter：视频世界模型解决长时一致性问题
推荐指数 72.0 NO. 025 · 2026.09.23
upvotes112comments3
为什么值得看
WorldCrafter 通过隐式 3D 感知记忆机制，让视频世界模型能在长时交互和视角切换中保持场景一致性。对做具身智能、仿真训练或交互式视频生成的团队来说，这是解决"越生成长越崩"的关键思路。
媒体预览
编辑判断
之前视频世界模型的记忆要么用显式深度图做重投影（对遮挡和动态物体处理很脏），要么直接堆帧导致 token 爆炸。WorldCrafter 的 trick 在于让目标视角决定怎么压缩多视图信息，相当于给 memory encoder 装了一个"注意力门控"，只保留对当前视角有用的 3D 线索。
从工程落地看，这个架构需要和视频生成器联合训练，算力门槛不低，但 memory 是隐式的意味着不需要预训练深度估计网络。如果 HuggingFace 后续开源代码，做机器人仿真或游戏 AI 的团队可以优先试试在现有视频生成模型上嫁接这个 memory 模块，可能比从头训更划算。