3块钱2小时从零训练64M小模型
推荐指数 79.0 NO. 002 · 2026.09.01
Stars56,048
为什么值得看
MiniMind 是一个从零用纯 PyTorch 实现的超轻量大模型训练项目，64M 参数版本成本仅 3 元、SFT 只需 2 小时。对想理解 LLM 全链路但受限于算力和代码复杂度的工程师，这是目前最干净的入门沙盒。
🧠 Train a 64M-parameter LLM from scratch in just 2h!
媒体预览
编辑判断
之前想从零搞懂 LLM 训练的人，要么啃 Megatron-LM 这种工业级庞然大物，要么跑 nanoGPT 但缺了 RLHF、MoE 等关键环节。MiniMind 把 Pretrain 到 GRPO 的完整链路塞进了 64M 参数，代码量可控到能一个周末读完。
跟 Karpathy 的 nanoGPT 比，MiniMind 覆盖了更多生产级环节（DPO、PPO、Tool Use）；跟国内 LLaMA-Factory 比，它不依赖任何高层抽象，每行梯度回传都看得见。最适合两类人：一是面试前要快速重建 LLM 直觉的算法工程师，二是想验证新训练 trick 但租不起 A100 的小团队。
一个实际建议：它的 MoE 和 CISPO 实现值得单独抽出来跟你的主项目做对比实验，64M 规模下迭代一轮只要几分钟，验证假设的成本极低。
Star History
生态分析
Beta
大模型教育基础设施：最低成本、最简代码的LLM训练入门沙盒
独特价值：64M参数2小时3元成本，纯PyTorch零抽象理解LLM全链路
竞品：