强模型给弱模型造外骨骼
推荐指数 64.0 NO. 024 · 2026.08.14
upvotes88comments1
为什么值得看
强模型无需训练即可在推理时为弱模型构建结构化代码 harness,提升其任务表现。这对不想承担微调成本的团队是务实路径,但依赖强模型在线可用。
媒体预览
编辑判断
这篇论文的巧妙之处在于把'蒸馏'从训练时搬到推理时,本质上是用强模型的代码生成能力给弱模型做动态脚手架。之前类似思路见于 DSPy 的编译优化和 Voyager 的技能库,但这里更激进——完全零参数更新。
实测在 ToM 任务上提升显著,不过论文没提 latency 和 API 成本,实际落地要算笔账:强模型调用次数 x 弱模型调用次数。如果强模型是 GPT-4、弱模型是本地 7B,这个 trade-off 对很多产品可能成立。代码未明确标注开源状态,建议跟进作者 GitHub。
相关内容