35B模型激活仅3B，端侧推理新方案
推荐指数 69.0 NO. 002 · 2026.09.14
likes946downloads3,552
为什么值得看
Edge0-35B-A3B 是一个 350 亿参数但推理时仅激活 30 亿参数的 MoE 架构模型，专为边缘设备部署优化。对需要在手机、IoT 等低算力环境跑大模型的团队，这是目前 HuggingFace 上罕见的可直接试用的端侧 MoE 方案。
编辑判断
MoE 模型在端侧落地一直有两个痛点：路由开销和内存带宽瓶颈。之前大家做端侧优化主要靠量化（如 llama.cpp 的 Q4_K_M）或蒸馏小模型，但 35B 级模型在手机上跑基本不现实。Edge0 的 3B 激活量意味着峰值显存需求可以压到 4GB 以内，这已经接近 iPhone 15 Pro 的可用内存上限。
跟同类方案比，微软的 Phi-4 也是小激活设计但非 MoE，Mistral 的 8x7B 又太重。Edge0 的差异化在于把专家粒度做细同时保持单专家质量，不过目前 preview 版本的下载量还低，实际吞吐和功耗数据需要等社区 benchmark。
如果你在做端侧 Agent 或离线 RAG，建议先用它的 transformers 接口跑通 latency 测试，重点看预填充阶段会不会因为路由计算拖慢首 token 时间。