LoRA微调竞速：6分钟训出57%准确率
推荐指数 66.0 NO. 005 · 2026.07.21
Stars115创建2 天前Forks6Issues10
为什么值得看
这是一个受modded-nanogpt启发的LoRA微调速度挑战项目，目标是在单张L40S上用最短时间将Qwen2.5-1.5B微调至GSM8K≥57%准确率。所有记录需独立复现3次，且Modal提供免费算力让任何人可零成本参与或验证。
Speedrunning LoRA fine-tuning: frozen task, frozen hardware, public wall-clock leaderboard. modded-nanogpt for fine-tuning.
媒体预览
编辑判断
这个项目把模型微调从'能跑通'变成了'能跑多快'的竞技游戏，这种速度竞赛机制会倒逼出大量被忽视的工程优化技巧。之前大家做LoRA微调主要参考HuggingFace PEFT的默认参数，很少有人系统性地压榨训练流水线的每一秒。
跟PEFT或Llama-Factory这类易用型工具不同，这里追求的是极限性能，适合已经熟悉微调流程、想把训练成本压到极限的团队。如果你在批量微调小模型做业务落地，这里面的trick（如梯度累积策略、数据加载优化）很可能直接帮你砍掉一半云账单。
Modal的免费算力覆盖完整运行是个聪明设计，消除了'没卡玩不起'的门槛，这种基础设施+竞技机制的组合可能会催生类似Kaggle的细分社区。
Star History
生态分析
Experimental
LoRA微调速度竞技社区，以公开排行榜和免费算力降低参与门槛
独特价值：首创LoRA速度run赛制，Modal免费算力支持零成本复现验证