第一人称视频统一重建世界模型
推荐指数 76.0 NO. 024 · 2026.10.21
upvotes118comments2
简介
EgoXperience 提出端到端框架，从第一人称视频中联合重建相机运动、场景几何、手部姿态和物体交互，用自动标注的大规模数据训练单遍模型。对做 AR/VR、机器人模仿学习、具身智能的团队来说，这解决了 egocentric 数据缺乏统一世界坐标系对齐的老大难问题。
媒体预览
编辑判断
之前做 egocentric 重建的团队大多拆成多个模块：SLAM 算相机位姿、单独跑 hand tracking、再用检测模型抽物体，最后硬拼在一起，坐标系对齐是噩梦。EgoXperience 的关键设计是「单遍联合推理」+「自动数据飞轮」，用伪标签从 Ego4D 这类无标注视频里自举训练，避免了昂贵的动捕标注。
跟 EPIC-KITCHENS 或 HOI4D 那套流程比，它把推理阶段压到了一个模型前向传播，延迟和误差累积都更低。论文提到训练用了 8 张 A100，但推理单卡可行，代码和模型权重即将开源。
做 AR 眼镜空间计算、或者机器人从第一人称视频学操作的团队，建议等代码放出后优先测 Ego4D 上的泛化效果，这是目前最接近「从人类日常视频直接学世界模型」的实用方案。