跨分词器蒸馏：对齐覆盖≠更好效果
推荐指数 55.0 NO. 022 · 2026.10.08
upvotes153comments1
为什么值得看
研究发现跨 tokenizer 的 on-policy 蒸馏中，严格 1:1 对齐已覆盖绝大多数学生生成 token，扩大对齐范围并不能提升学习效果。这对想用蒸馏压缩模型的团队有直接参考价值：过度追求词汇对齐可能是无效优化。
媒体预览
编辑判断
做模型蒸馏的团队常被 tokenizer 差异困扰，直觉是扩大词汇对齐范围能提升信号质量。但这篇工作用三组异构 teacher-student 对（数学推理+代码生成）证明，严格对齐位置已承载近全部概率质量，继续放宽对齐反而引入噪声。
工程上这意味着：如果你在用不同词表做蒸馏，不必折腾复杂的软对齐或投影层，1:1 硬对齐就够用了。省下的复杂度可以投到监督信号可靠性上——论文标题后半句的转向不是客套，是实际建议。