像素空间统一3D生成与重建
推荐指数 67.0 NO. 020 · 2026.07.08
upvotes46comments0
为什么值得看
PixWorld提出在像素空间而非潜空间做3D扩散,直接用图像级监督训练,避免VAE编码的信息损失。对做3D资产生成的团队意味着可能告别预训练VAE的束缚,重建和生成终于能用同一套框架。
媒体预览
编辑判断
之前统一3D生成和重建的路线都挤在潜空间,比如Instant3D、MVDream那套,本质是用Stable Diffusion的VAE压缩图像再扩散,但VAE对几何细节的破坏是结构性的——深度不连续、纹理高频信息丢失,重建分支和生成分支还得共用同一个有损编码器。
PixWorld的解法很直接:把扩散目标从潜特征拉回像素,同时用几何感知的特征对齐保证多视图一致性。这相当于用计算换精度,代价是训练成本更高,但省去了调VAE的麻烦。
目前代码未开源,46个upvote在HF Papers里算中等热度,建议等代码放出后重点看它在RealEstate10K这类稀疏视图重建任务上的表现,那是潜空间方法的老大难场景。
相关内容