游戏引擎造世界模型训练数据
推荐指数 75.0 NO. 022 · 2026.08.29
upvotes120comments2
为什么值得看
用游戏引擎作为可验证的轨迹数据引擎，通过强化学习后训练扩展世界模型。解决视频数据缺乏 grounded reward signal 的核心瓶颈，类比代码 agent 靠编译器获得高质量反馈。
媒体预览
编辑判断
这篇论文戳中了当前视频生成模型的隐性天花板：Sora、Runway 们靠海量视频数据训练，但损失函数本质上是像素级的模糊匹配，缺乏物理一致性约束。游戏引擎的介入相当于给世界模型装上了'编译器'——动作可执行、状态可验证、奖励可量化。
目前团队未公布具体开源计划，但方法论可直接借鉴：用 Minecraft、Unreal 等已有引擎构建闭环训练环境，比从头采集真实世界视频成本低 1-2 个数量级。做机器人 sim-to-real 或自动驾驶世界模型的团队，应该已经在评估这套范式的可行性了。
相关内容
Distilling Game Code World Model Generation into ... DeepMind团队研究将游戏代码蒸馏用于世界模型生成，探索程序化生成训练数据的方法。 Advancing Open-source World Models 采用混合数据采集策略构建高质量交互式训练语料，结合第一人称与第三人称视频数据。 World Engine: Towards the Era of Post-Training for Autonomous Driving OpenDriveLab提出的World Engine，专为自动驾驶后训练时代设计的世界模型引擎。 γ-World: Generative Multi-Agent World Modeling Beyond Two Players NVIDIA研究的多智能体生成式世界模型，突破双人博弈限制，支持复杂多智能体交互建模。 Using Game Engines and Machine Learning to Create Synthetic Satellite Imagery 利用游戏引擎与机器学习合成卫星图像，展示游戏引擎在特定领域合成数据生成的应用。