内省解码让扩散模型追平AR
值得看指数 83.0 NO. 012 · 2026.04.15
发布2026/04/14Score124Comments31
为什么值得看
提出内省步进解码(ISD)，让扩散语言模型首次达到同规模自回归模型的生成质量。这打破了扩散模型并行生成但质量落后的长期瓶颈，为高并发场景提供了新的架构选择。
编辑判断
扩散模型做文本生成一直有个尴尬：虽然能并行解码，但质量总比不过GPT这类自回归模型。这篇论文发现病根在于"自我一致性"缺失——AR模型生成时自然保持上下文连贯，而扩散模型各步独立采样容易前后矛盾。
他们提出的ISD方法本质是让模型在生成新token的同时，用同一个前向传播去验证和修正已生成的内容，相当于边写边检查。8B规模的I-DLM首次打平了同参数量的AR基线，这对想要摆脱逐token生成瓶颈的工程师是个关键信号。
不过论文没披露具体推理速度，如果并行带来的吞吐提升能抵消多步解码的开销，对实时应用很有吸引力。建议关注是否开源，以及长文本生成的稳定性表现。