4GB显存微调8B模型，一键搞定
推荐指数 76.0 NO. 001 · 2026.08.16
Stars1,553
为什么值得看
Soup 是一个 LLM 微调 CLI 工具，通过 layer streaming 技术将冻结的基座模型逐层喂入 GPU，实现 4GB 显存跑通 8B 模型微调。对于没有 A100/H100 的独立开发者和中小团队，这意味着不再需要云服务或复杂分布式配置就能迭代自己的模型。
Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.
媒体预览
编辑判断
目前主流的低资源微调方案是 Unsloth 或 Axolotl，但两者都需要用户手动处理量化配置、梯度检查点和分布式设置，学习曲线仍然陡峭。Soup 的核心差异是把 layer streaming 封装成了零配置的单命令工作流，而且做到了 bit-exact 可复现——这在消费级和数据中心级 GPU 上跑出了几乎一致的速度。
如果你现在用 Unsloth 做实验但卡在多节点部署，或者因为显存不够被迫用 QLoRA 牺牲精度，Soup 值得作为替代方案跑一遍 benchmark。特别留意它的 post-training 工作流支持，这可能是比微调本身更实用的差异化能力。
Star History
生态分析
Beta
消费级GPU极限微调的轻量级CLI入口，填补低显存开发者工具空白
独特价值：Layer streaming实现4GB显存跑8B模型微调，YAML一键配置零门槛
竞品：