千层DiT训练稳定性解法
推荐指数 82.0 NO. 023 · 2026.05.12
upvotes89comments1
为什么值得看
提出均值-方差拆分残差连接，解决扩散Transformer堆叠到1000层时的训练崩溃问题。让超深DiT成为可能，对追求极致生成质量的视频/图像模型团队有直接参考价值。
媒体预览
编辑判断
当前Sora、可灵等视频模型都在往更深DiT堆叠，但超过200层后loss spike和模式崩溃是公开的秘密，业内普遍靠小批量调参或限制深度硬扛。这篇把残差拆成mean branch和variance branch分别控制，本质是用显式的统计量约束替代隐式的梯度稳定，在1000层规模下FID仍能保持下降。
方法不引入额外参数量，实现成本很低，但论文未明确开源代码和训练配置细节。如果你正在训百层以上的DiT或Mamba架构，这个trick值得优先验证，尤其适用于高分辨率视频生成这种必须深层的场景。