AMAZINGINDEX.COM 让生活多一点 Amazing
58.8
VOL. 2026.09
2026.09.24
← 返回 2026.09.24 日报
日报快照 · Daily Snapshot
NO. 024

GAE:让视频生成真正懂3D几何

#HF_PAPERS HuggingFace Papers 2026.09.24
推荐指数 70.0 NO. 024 · 2026.09.24
upvotes38comments3

GAE提出将几何基础模型的特征重参数化为紧凑潜空间,使生成模型原生理解3D结构而非仅拟合外观。对做世界模型、3D资产生成和具身智能仿真的团队,这可能是解决多视角一致性的关键基础设施。

之前解决3D一致性的主流路线是NeRF或显式深度监督,但要么推理太贵,要么和生成模型耦合太深。GAE的取巧之处在于直接偷师感知模型的几何特征——用DUSt3R这类重建模型的中间表示当桥梁,而不是让生成器从零学几何。

论文提到latent jointly decodable to appearance和depth,但没给具体训练成本。如果GAE的编码器能冻住DUSt3R权重只训轻量投影层,那fine-tune成本会远低于从头训一个3D-aware VAE。做视频生成或游戏引擎集成的团队可以蹲一下代码,看latent维度到底压到了多少——这决定了能不能塞进现有的diffusion管线里实时跑。

查看原文 →