AMAZINGINDEX.COM 让生活多一点 Amazing
54.7
VOL. 2026.10
2026.10.17
← 返回 2026.10.17 日报
日报快照 · Daily Snapshot
NO. 022

用门控蒸馏让RL策略迁移更精准

#HF_PAPERS HuggingFace Papers 2026.10.17
推荐指数 60.0 NO. 022 · 2026.10.17
upvotes449comments3

Waypoint-OPD通过检测教师模型训练早期与晚期策略变化的方向一致性,过滤掉相互抵消的噪声信号,提升策略蒸馏效果。推理任务上性能提升明显,且额外计算开销极小,适合资源受限场景部署。

用门控蒸馏让RL策略迁移更精准

传统策略蒸馏只拿RL训练前后的终点差异当监督信号,但教师模型中间过程可能反复横跳——早期学到的偏好后期又被覆盖,终点差值看着很大,实际信息熵很低。这篇论文的门控机制本质上是在做"时间维度上的梯度一致性检验",跟模型融合里的权重平均(如Model Soups、Exponential Moving Average)有相通之处,但用在蒸馏场景是新的。

实验显示在推理任务上提升显著,但论文没明确说用了多大的教师模型、学生模型压缩比多少。如果7B蒸馏到1B能有这个效果,端侧部署价值很大;如果是70B到7B,意义就窄很多。建议等代码开源后先看teacher-student的size gap和训练步数,再决定要不要跟进复现。

HuggingFace上449赞但仅3条评论,说明社区"觉得有用"但还没人跑通,窗口期大概一到两周。

查看原文 →