开源社区复现 Claude Mythos 架构猜想
OpenMythos 是社区基于公开研究对 Claude Mythos 架构的理论复现,实现了 Recurrent-Depth Transformer 三阶段设计与稀疏 MoE。该项目为研究动态计算深度和高效注意力机制(MLA/GQA)提供了可运行的实验平台,适合探索自适应推理路径。
OpenMythos 是社区基于公开研究对 Claude Mythos 架构的理论复现,实现了 Recurrent-Depth Transformer 三阶段设计与稀疏 MoE。该项目为研究动态计算深度和高效注意力机制(MLA/GQA)提供了可运行的实验平台,适合探索自适应推理路径。
A theoretical reconstruction of the Claude Mythos architecture, built from first principles using the available research literature.
做高效推理或模型架构研究的团队长期苦于闭源模型的结构黑盒。这个项目把业界对 Claude Mythos 的架构猜测(循环深度 Transformer + 稀疏 MoE)做了可执行的代码实现,相当于给论文里的架构图提供了 PyTorch 版本。
与直接修改 Llama 架构相比,它的 Recurrent Block 设计允许模型在推理时动态决定计算深度,这对研究"思考时间"与"答案质量"的 trade-off 很有价值。如果你在做测试时计算(Test-Time Compute)或自适应深度推理的相关研究,可以用它快速验证假设,而不需要自己从头实现 MLA 和稀疏专家路由。