284B大模型纯CPU跑,零GPU
推荐指数 88.0 NO. 014 · 2026.11.09
发布2026/11/08Score307Comments116
简介
llama-modchip项目通过极致量化(1.71 bpw)和内存优化,让DeepSeek-V4-Flash 284B模型在64GB内存的CPU上达到44 tok/s预填充速度。这意味着本地部署超大模型的硬件门槛从多张A100降到了普通台式机,对成本敏感的AI创业团队和隐私要求高的企业是实质性替代方案。
编辑判断
之前跑200B+模型要么租A100/H100云实例(每小时几美元),要么用llama.cpp但速度惨不忍睹到没法实用。这个项目的关键突破是把KV cache也压进了共享内存(/dev/shm 13ms恢复),配合Mamba-2 SSM层的低内存特性,让256K长上下文只占用432MB。
跟vLLM或TensorRT-LLM这些GPU方案比,它的定位很清晰:牺牲峰值吞吐量换零硬件成本。适合两类场景:一是需要离线批处理的合规场景(金融、医疗),二是作为GPU集群的fallback层。
实际风险在于1.71 bpw的精度损失对数学/代码任务的影响尚未有系统评测,建议先拿你的具体任务跑一遍再决定是否替代现有方案。
社区反馈
意见分歧 101 条评论
核心争论:2-bit量化跑超大模型是实用突破还是速度噱头,质量能否替代更大模型
At which quantization? That's the only thing I want to know. EDIT: I think it's 2 bit? If so, would be curious to see the quality of the output. Not great, I think.
Everything lower than 4/5 is really bad
Well it's bad compared to the original model, but is it bad compared to what else you could run in 64 GB?