Meta 开源 816B 稀疏 MoE 模型
推荐指数 70.0 NO. 004 · 2026.10.22
likes635downloads2,891
简介
Muse-Spark-Open-816B-A42B 是 Meta 发布的 816B 总参数、42B 激活参数的稀疏 MoE 架构大模型，已上架 HuggingFace。对需要本地部署大模型但受限于推理成本的团队，这是目前开源社区可获取的顶级稀疏模型之一。
编辑判断
稀疏 MoE 架构的核心 trade-off 是显存换算力：816B 总参数需要大量显存加载，但前向传播只激活 42B，推理成本接近密集 70B 模型。目前开源 MoE 生态里，DeepSeek-V2/V3 和 Qwen 的 MoE 系列已经验证了这条路径的可行性，Meta 入场意味着训练 infra 和权重初始化策略可能更成熟。
做模型微调或私有化部署的团队需要重点评估显存预算：A100 80G 需要至少 10 张才能跑全精度，INT8/FP8 量化后是 8 卡可接受的场景。如果业务对延迟敏感且 batch size 小，MoE 的 routing overhead 反而可能成为瓶颈，建议先跑通 benchmark 再决定替换现有密集模型。