125B模型单卡跑100T/s
推荐指数 85.0 NO. 008 · 2026.10.05
发布2026/10/04Score466Comments243
为什么值得看
Strata框架通过IQ3_S量化让Qwen3.8-Flash-Next(125B)在RTX 4090/5070等消费级显卡本地运行，生成速度达60-100 tokens/s。这意味着开发者无需云端API即可部署顶尖大模型，隐私和成本优势显著。
编辑判断
本地跑125B模型这个参数规模本身不新鲜，llama.cpp和koboldcpp早就能做到，但速度一直是硬伤——之前同类量化方案在4090上通常只有20-40T/s。Strata的突破口可能是对Qwen3 MoE架构的稀疏激活做了针对性优化，把实际计算的参数量打了下来。
真正值得观察的是128K长上下文下的表现：32K prompt的prefill速度没公开，而长文本的KV cache压缩才是消费级显存的瓶颈。如果你在考虑替代Claude API的本地方案，建议先测自己业务场景下的长文档RAG延迟，别只看短对话的生成速度。
社区反馈
正面 210 条评论
核心争论：Flash Next 125B 量化版是否全面优于 27B 小模型，质量与速度如何权衡
I tried it and it worked surprisingly well. On my machine (Nvidia 4090, 128GB DDR5, Ryzen 7950x3d) I'm getting 124 tokens per sec, thought to share it here. https://huggingface.co/Qwen/Qwen3.8-Flash-Next
Do you know how it compares to Qwen 3.8 27B? I really want to compare the distilled ones with harness versus the full MoE versions.
Qwen 3.8 flash next is way better than 27B. It's so good I dont even use claude anymore