无教师蒸馏让小模型自学视觉
推荐指数 73.0 NO. 023 · 2026.08.18
upvotes141comments3
为什么值得看
通过强数据增强制造师生不对称，小视觉语言模型无需大教师或标注即可自我蒸馏提升性能。这对算力有限的端侧部署团队是务实路径。
媒体预览
编辑判断
传统蒸馏要么烧卡训大教师，要么依赖标注做监督信号，这篇把不对称来源倒过来——教师看原图，学生看严重扭曲的增强视图，信息差天然存在。这跟 BYOL、SimSiam 那套自监督的直觉一脉相承，但首次做到 on-policy 的生成式 VLM 蒸馏上。
在 MMVet 等基准上追平了用 4 倍参数教师的方法，且代码已开源。如果你在做端侧 VLM（比如手机相册搜索、AR 眼镜描述），这几乎是零额外成本提精度的方案，值得直接 fork 看 augmentation 策略怎么设计的。