PyTorch原生RL训练框架，算法改动成本骤降
推荐指数 66.0 NO. 025 · 2026.07.28
upvotes20comments0
为什么值得看
Molt是一个专为智能体强化学习设计的PyTorch原生训练框架，通过精简代码架构让研究者能端到端追踪和修改算法流程。它用异步单循环支持多模态和MoE策略训练，核心卖点是让AI助手能完整读取整个代码库辅助迭代。
媒体预览
编辑判断
RL研究最大的隐性成本不是算力，而是改算法时要在Ray/DeepSpeed/自定义rollout之间来回撕扯。Molt的解法很直接：把整个系统压到AI助手能一次读完的规模，用asyncio替代复杂的分布式抽象层。
跟RLlib或OpenRLHF比，Molt不追求覆盖所有场景，而是赌研究者更愿意要一个能徒手改透的紧凑系统。目前热度不高（20 upvotes），但HuggingFace Papers上的RL训练框架最近几个月密集出现，说明社区对现有工具链的不满在累积。
如果你在做GRPO、DAPO这类需要频繁改loss和rollout逻辑的方向，Molt的代码结构可能比CleanRL更适合快速迭代，值得花20分钟扫一遍它的trainer loop设计。