Karpathy 开源 LLM 训练最小实现
推荐指数 84.0 NO. 002 · 2026.11.03
Stars59,878
简介
nanochat 是 Andrej Karpathy 发布的极简 LLM 训练框架，单 GPU 节点即可跑完全流程，用 48 美元复现 2019 年 4.3 万美元的 GPT-2 训练。对想理解 LLM 全链路或快速验证想法的工程师，这是比 Hugging Face transformers 更透明的起点。
The best ChatGPT that $100 can buy.
媒体预览
编辑判断
LLM 训练框架的痛点一直是'黑箱化'：Hugging Face transformers 封装太深，Megatron-LM 又太重。nanochat 的定位卡在中间——比 minGPT 更完整（覆盖 tokenizer 到 inference），比 TinyLlama 更透明（单文件级可读性）。
它的核心设计是 depth 作为唯一超参数控制模型规模，这直接借鉴了 Chinchilla 的 compute-optimal 思想，但把学术公式变成了可执行的配置。做模型压缩或端侧部署的团队，可以用这个框架快速跑出自己的'最小可行模型'来验证边界。
不过要注意：它故意不做分布式和多节点，所以超过 1B 参数就不合适了。想训 production 模型的团队，最终还是要切到 Nanotron 或 veScale。
Star History
生态分析
Experimental
LLM 教育训练入口，连接底层原理与工程实践的极简桥梁
独特价值：以最低成本透明复现 GPT-2 全链路，降低 LLM 训练认知门槛
竞品：