AMAZINGINDEX.COM 每天向上一点
60.7
VOL. 2026.11
2026.11.11
← 返回 2026.11.11 日报
日报快照 · Daily Snapshot
NO. 020

删除0.05%权重匹敌全量微调

#REDDIT Reddit r/LocalLLaMA 2026.11.11
推荐指数 77.0 NO. 020 · 2026.11.11
score4comments0

Deletion Tuning 只冻结并屏蔽 transformer gate 投影层中不到 0.05% 的权重,无需训练任何参数即可在 RL、SFT 和蒸馏三种后训练场景下达到全量微调效果。生成的二进制掩码比 FFT 检查点小数百至数千倍,且灾难性遗忘显著减轻,为持续学习提供了新路径。

这篇工作的反直觉之处在于它把参数高效微调推到了极端——不是加少量参数(LoRA),不是选子层训练,而是直接做减法。之前解决灾难性遗忘的主流方案是 EWC、Replay Buffer 或模块化架构,都需要额外机制或存储成本。Deletion Tuning 用一张轻量掩码同时搞定性能和遗忘,暗示模型能力可能高度冗余地分布在极稀疏的子网络上。

如果开源代码和掩码训练流程可用,做端侧部署和终身学习的团队应该优先验证:在 7B 以下模型上,掩码搜索的算力开销是否足够低,以及这种稀疏性是否对量化友好。另一个值得跟踪的问题是,gate 投影层的可删除性是否对 MoE 架构同样成立。

查看原文 →