AMAZINGINDEX.COM 日报快照
56.4
VOL. 2026.08
2026.08.14
← 返回 2026.08.14 日报
日报快照 · Daily Snapshot
NO. 024

强模型给弱模型造外骨骼

#HF_PAPERS HuggingFace Papers 2026.08.14
推荐指数 64.0 NO. 024 · 2026.08.14
upvotes88comments1

强模型无需训练即可在推理时为弱模型构建结构化代码 harness,提升其任务表现。这对不想承担微调成本的团队是务实路径,但依赖强模型在线可用。

强模型给弱模型造外骨骼

这篇论文的巧妙之处在于把'蒸馏'从训练时搬到推理时,本质上是用强模型的代码生成能力给弱模型做动态脚手架。之前类似思路见于 DSPy 的编译优化和 Voyager 的技能库,但这里更激进——完全零参数更新。

实测在 ToM 任务上提升显著,不过论文没提 latency 和 API 成本,实际落地要算笔账:强模型调用次数 x 弱模型调用次数。如果强模型是 GPT-4、弱模型是本地 7B,这个 trade-off 对很多产品可能成立。代码未明确标注开源状态,建议跟进作者 GitHub。

查看原文 →