多教师蒸馏加速:参数先验替代硬融合
推荐指数 64.0 NO. 025 · 2026.11.10
upvotes44comments6
简介
P²-MOPD 将多专家参数线性组合视为可微模型,联合优化混合系数与学生权重,解决传统 MOPD 恢复慢、不平衡的问题。做模型融合或端侧蒸馏的团队,这可能比任务算术更省算力。
媒体预览
编辑判断
任务算术(Task Arithmetic)和模型汤(Model Soup)这类免训练融合方法虽然省事,但遇到分布偏移时性能断崖下跌。这篇把参数组合嵌入蒸馏目标函数里,相当于给融合过程加了动态反馈,比 DARE 或 TIES-Merging 的静态裁剪更灵活。
不过论文没提推理开销——联合优化意味着训练时需要同时加载多个教师模型,显存压力不小。如果开源代码支持 LoRA 形式的专家加载,中小团队才能真正用起来。