AMAZINGINDEX.COM 日报快照
59.1
VOL. 2026.07
2026.07.21
← 返回 2026.07.21 日报
日报快照 · Daily Snapshot
NO. 024

循环Transformer首次击败堆参数

#HF_PAPERS HuggingFace Papers 2026.07.21
推荐指数 79.0 NO. 024 · 2026.07.21
upvotes53comments0

Loopie通过新型后训练管线让循环Transformer在同等算力下首次超越传统堆参数模型,20B参数版本在IMO和IPhO竞赛中达到金牌水平。这对算力受限但追求推理能力的团队是重要信号。

循环Transformer首次击败堆参数

循环Transformer的核心困境是'N倍算力该堆层还是循环',之前业界默认选前者。Loopie的突破在于把循环次数和后训练管线解耦设计,用多轮迭代精炼替代单次前向,类似让同一个专家反复检查自己的答案。

论文直接对标了30B参数的vanilla模型,说明作者对这个结论很有信心。但需要注意循环带来的延迟问题——推理时延随循环次数线性增长,实时场景可能不适用。

如果开源代码和训练细节放出,小模型+多循环可能是端侧强推理的一条新路径,值得跟踪。

查看原文 →