循环Transformer首次击败堆参数
推荐指数 79.0 NO. 024 · 2026.07.21
upvotes53comments0
为什么值得看
Loopie通过新型后训练管线让循环Transformer在同等算力下首次超越传统堆参数模型,20B参数版本在IMO和IPhO竞赛中达到金牌水平。这对算力受限但追求推理能力的团队是重要信号。
媒体预览
编辑判断
循环Transformer的核心困境是'N倍算力该堆层还是循环',之前业界默认选前者。Loopie的突破在于把循环次数和后训练管线解耦设计,用多轮迭代精炼替代单次前向,类似让同一个专家反复检查自己的答案。
论文直接对标了30B参数的vanilla模型,说明作者对这个结论很有信心。但需要注意循环带来的延迟问题——推理时延随循环次数线性增长,实时场景可能不适用。
如果开源代码和训练细节放出,小模型+多循环可能是端侧强推理的一条新路径,值得跟踪。