多教师蒸馏的梯度冲突解法

当前多教师蒸馏的主流做法是用门控路由把不同领域数据分给 specialist teacher，但学生模型的共享参数仍会被所有教师的梯度同时拉扯，风格差异大的教师容易互相抵消。这篇的核心改进是把"教师是否同意"作为 token 级的权重信号——如果多个教师对某个 token 的预测一致，才给高信用；不一致则压低该 token 的梯度贡献，同时用辅助梯度把冲突更新约束到正交方向。

这比直接做模型合并（如 MergeKit 的 SLERP/TIES）更细粒度，也比单教师逐次蒸馏的序列方式更高效。不过论文没给开源代码，且辅助梯度的计算开销需要实测，如果是 70B 级别的教师模型，显存压力会比较大。建议等代码放出来先跑小模型验证，做 MoE 或领域适配的团队可以重点关注 token 级信用分配这个思路本身。