Redis作者推本地LLM推理引擎ds4
推荐指数 72.0 NO. 013 · 2026.10.03
发布2026/10/02Score81Comments11
为什么值得看
DwarfStar 4是Redis作者antirez开发的C语言本地推理引擎，支持DeepSeek V4/V4.1 Flash、GLM 5.x和Qwen3.8等MoE模型在Mac/CUDA/ROCm上运行。核心创新是非对称2-bit量化，仅压缩路由专家而保留共享关键路径精度，让64GB内存机器可跑大模型。
编辑判断
本地跑MoE模型的痛点在于显存爆炸和量化精度 trade-off，之前大家要么用 llama.cpp 的均匀量化牺牲推理质量，要么直接上云端API。ds4的非对称量化思路很刁钻：MoE里90%参数是稀疏激活的路由专家，共享的attention和router才是精度敏感区，分开处理比全局量化损失小得多。
对比 llama.cpp 和 ollama，ds4的差异化是原生支持 routed-MoE 架构而非事后适配，且用纯C/Metal/CUDA手写而非依赖抽象层。如果你在做需要数据不出域的场景（金融、医疗、政企），或者想在Apple Silicon上跑视觉+文本的多模态模型，这是目前少数能单机承载V4级别MoE的选项。MIT协议也意味着可以嵌进商业产品里改。
社区反馈
意见分歧 12 条评论
核心争论：2-bit非对称量化实际效果存疑，社区争论ds4量化质量是否优于其他方案
the problem is the dsv4 checkpoint so quantized isn't very good
not my experience the ds4 quants were very good beating the unsloth quants https://github.com/michaelasper/benchmarks/blob/main/deepsee...
Which ds4 checkpoint for which model exactly did you test? Don't they have multiple different versions and quantization levels?