DiT跨层信息流可学习路由机制
推荐指数 77.0 NO. 024 · 2026.05.26
upvotes90comments3
为什么值得看
提出一种时间步自适应的可学习路由机制，替代传统残差连接解决扩散Transformer跨层信息流动低效问题。训练效率与生成质量双提升，对正在自研视觉生成模型的团队有直接参考价值。
媒体预览
编辑判断
这篇的切入点很刁钻——DiT架构里几乎每个角落都被改过了，但残差连接这个'默认配置'一直没人动。作者把它当成一个可优化的信息路由问题来处理，本质上是用轻量门控网络动态决定每层信息流向，参数量增加不到2%。
在ImageNet 256x256上，同等训练步数下FID从2.06降到1.89，更关键的是收敛速度提升了约30%。代码尚未开源，但方法本身用PyTorch实现不复杂，如果你的DiT训练卡时预算紧张，这个改动的ROI很高。