DiT量化无需校准数据
推荐指数 73.0 NO. 024 · 2026.07.07
upvotes23comments1
为什么值得看
OrbitQuant提出了一种数据无关的后训练量化方法，通过归一化旋转基消除扩散模型在不同时间步和模态下的激活分布偏移问题。对部署DiT的工程师来说，这意味着换checkpoint或从图像切换到视频时不再需要重新收集校准数据，量化流程可大幅简化。
媒体预览
编辑判断
现有DiT量化方案如BRECQ或AdaRound都需要针对每个时间步或每个checkpoint重新跑校准，实际落地时这个隐性成本很高。OrbitQuant的关键设计是把激活映射到一个与时间步无关的归一化旋转空间，本质是用几何变换消除分布漂移，而不是用数据去拟合它。
从实验看，它在W8A8下把FLUX.1和Wan 2.1的FID损失压到了1%以内，且不需要任何校准样本。如果开源代码质量过关，这可能会成为DiT部署的事实标准，特别是做多模态产品需要频繁切换图像/视频模型的团队。
相关内容
OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers 提出无需校准数据的权重-激活量化器，通过随机置换块Hadamard旋转将坐标集中到固定边际分布，实现与输入无关的量化。 Q-DiT: Accurate Post-Training Quantization for Diffusion Transformers 针对DiT的精确训练后量化方法，解决扩散Transformer的量化挑战。 DiTAS: Quantizing Diffusion Transformers via Enhanced Activation Smoothing 通过增强激活平滑技术对扩散Transformer进行量化，应对DiT性能提升带来的计算开销问题。 Efficient Post-Training Vector Quantization for Diffusion Transformers VQ4DiT快速训练后向量量化方法，将模型权重分解为码本和分配，实现极端权重量化并显著降低内存使用。