删0.05%权重匹敌全量微调
推荐指数 83.0 NO. 001 · 2026.11.16
Stars103创建5 天前Forks6Issues1
简介
Deletion Tuning是一种LLM后训练方法,仅删除(置零)不到0.05%的预训练权重,无需其他修改即可在RL、SFT和持续预训练三种场景下达到全量微调效果。这对算力受限的团队意味着可能用极低成本获得同等性能,且代码已开源可复现。
Public code release for the paper "The Surprising Effectiveness of Deleting Weights in LLM Post-Training"
媒体预览
编辑判断
传统PEFT路线(LoRA、Adapter、Prefix Tuning)都是在加参数或改结构上做文章,这篇论文反其道而行——做减法。核心洞察是预训练权重里存在大量"冗余干扰项",精准删除比盲目更新更高效。
实验覆盖7B到70B模型,在数学推理(GSM8K)、代码生成(HumanEval)和指令遵循上都追平了FFT,但显存占用降低40%以上。已开源的代码基于PyTorch,实现只有200行左右,比LoRA更容易集成到现有训练管线。
最该关注的是做端侧部署和模型压缩的团队:如果删除后的稀疏结构能用INT4/INT8高效表示,这可能同时解决"微调成本高"和"推理速度慢"两个痛点。建议先在他们提供的Jupyter Notebook里跑一遍自己业务数据的对比实验。
Star History
生态分析
Experimental
首个开源的LLM权重删除后训练方法,探索极低成本微调新范式
独特价值:仅删除0.05%权重实现全量微调效果,无需训练新参数