扩散多模态模型砍掉90%视觉计算
推荐指数 79.0 NO. 028 · 2026.11.01
upvotes98comments3
简介
LOWN让扩散视觉语言模型在解码时动态跳过图像处理，当带图和不带图的预测一致时直接复用结果。视觉token占输入89-97%却每步重复计算，这是首次用「置信度证书」而非硬剪枝来规避信息丢失。
媒体预览
编辑判断
之前做VLM加速的思路是剪枝或量化视觉token，但剪掉的token信息永久丢失，量化则全步受累。LOWN的巧妙之处在于把「是否需要看图」变成一个可学习的二元决策，用模型自身的预测一致性作为证书，避免了人为设阈值。
在LLaDA-V上的实验显示计算量降到原来的1/10，FID和CLIP Score几乎不掉。这个方法对端侧部署扩散多模态模型很关键——目前手机跑Stable Diffusion已经勉强，加上VLM的交叉注意力更是灾难。
论文提到代码即将开源，但核心依赖的LLaDA-V本身还没完全成熟，想复现的团队建议先关注LLaDA系列本身的进展。