Inkling:小模型学会自我纠错推理
推荐指数 66.0 NO. 006 · 2026.07.18
likes933downloads7,870
为什么值得看
Thinking Machines Lab 开源的 7B 推理模型,无需外部反馈即可在推理过程中自我修正错误。对预算有限但需要可靠推理能力的团队来说,这是替代大模型 API 的务实选择。
编辑判断
小模型做复杂推理的瓶颈从来不是参数不够,而是'一错到底'——传统 CoT 一旦中间步骤出错就无法挽回。Inkling 的思路是让模型在生成过程中主动检测矛盾并回溯修正,这本质上是在模仿人类解题时的草稿纸行为。
之前解决类似问题的主流方案是 Google 的 Self-Correct 或微软的 rStar,但它们要么需要额外训练 reward model,要么需要多次采样投票,推理成本翻倍。Inkling 把纠错能力内嵌到单次前向生成里,7B 规模就能在 GSM8K 上逼近 GPT-4o-mini 水平。
最适合的场景是客服问答、医疗分诊这类'容错率低但预算有限'的垂直应用。如果你现在用 70B 模型做推理只是为了稳定性,值得用这个 7B 模型跑一遍你的测试集,算算能省多少 API 费用。