固定算力下公平对比Transformer变体
NextTransformer 是一个控制训练预算（49.152B tokens、相同 FLOPs）严格对比各类 Transformer 变体（循环深度、稀疏/线性注意力、残差流混合等）的开源框架与 benchmark 平台。所有结果均为可审计的文件记录，且支持 AI agent 在统一规则下自动探索新架构，解决了当前架构论文"无法公平比较"的顽疾。
:sunrise: A comprehensive, cutting-edge open-source framework for next-generation Transformers, with compute-matched benchmarking and a platform for autonomous architecture research.
做架构创新的团队过去最大的噩梦是"我的改进到底是因为架构好，还是训练得更多"——这篇工作用固定 FLOPs 的硬约束把这个问题彻底锁死了。跟 Nous Research 的 LM Evaluation Harness 或 EleutherAI 的 evals 比，它的独特价值在于训练阶段的对齐，而不是只在 eval 端统一。
目前 31 个 finished runs 的体量还很小，但"AI agent 可在相同规则下自动研究新架构"这个设计很狡猾：它实际上在把自己变成架构领域的 AlphaFold——不是给答案，而是给裁判权。如果你在训自己的 base model 或做 MoE/线性注意力的改进，建议直接拿它的 protocol 当基线，省掉半年跟 baseline 扯皮的时间。
下一代Transformer架构的公平评测基准与自主架构搜索平台
独特价值：控制训练预算严格对比各类变体，支持AI agent自动探索新架构