AMAZINGINDEX.COM 每天向上一点
53.9
VOL. 2026.11
2026.11.10
← 返回 2026.11.10 日报
日报快照 · Daily Snapshot
NO. 025

多教师蒸馏加速:参数先验替代硬融合

#HF_PAPERS HuggingFace Papers 2026.11.10
推荐指数 64.0 NO. 025 · 2026.11.10
upvotes44comments6

P²-MOPD 将多专家参数线性组合视为可微模型,联合优化混合系数与学生权重,解决传统 MOPD 恢复慢、不平衡的问题。做模型融合或端侧蒸馏的团队,这可能比任务算术更省算力。

多教师蒸馏加速:参数先验替代硬融合

任务算术(Task Arithmetic)和模型汤(Model Soup)这类免训练融合方法虽然省事,但遇到分布偏移时性能断崖下跌。这篇把参数组合嵌入蒸馏目标函数里,相当于给融合过程加了动态反馈,比 DARE 或 TIES-Merging 的静态裁剪更灵活。

不过论文没提推理开销——联合优化意味着训练时需要同时加载多个教师模型,显存压力不小。如果开源代码支持 LoRA 形式的专家加载,中小团队才能真正用起来。

查看原文 →