蒸馏训练让模型超越老师的新方法
推荐指数 74.0 NO. 023 · 2026.10.02
upvotes224comments2
为什么值得看
论文提出在策略蒸馏中通过表示空间残差外推，而非输出空间，来稳定地让学生模型超越老师。解决了传统输出空间外推因语言模型头各向异性衰减和采样噪声导致的训练不稳定问题。
媒体预览
编辑判断
这篇论文的洞察在于戳破了一个行业默认假设：蒸馏时老师模型的知识在输出层（logits）是等权传递的。作者实验证明语言模型头会各向异性地衰减隐藏层变化，导致输出空间外推本质上是信噪比很差的近似。
工程价值在于方法可直接嵌入现有OPD管线，不需要改模型架构，只需要在表示层加残差预测头。如果开源代码放出，做模型压缩和端侧部署的团队可以立刻验证——特别是在7B以下小模型追赶13B老师模型的场景，这可能是比DPO更省算力的超越路径。