单卡3090跑DeepSeek-V4.1-Flash
推荐指数 75.0 NO. 023 · 2026.11.06
score2comments0
简介
Delta Inference Engine v0.93 更新，支持 64GB 内存运行 DeepSeek-V4.1-Flash-1017，单卡 RTX 3090 配合 IQ2 量化可达 41 tok/s，首 token 延迟降低 40%。对本地部署大模型的硬件门槛是一次实质性下探，64GB 内存方案让消费级工作站成为可能。
编辑判断
本地大模型推理的瓶颈长期卡在显存容量，llama.cpp 等方案靠 CPU 卸载但速度损失大，vLLM 则对显存要求苛刻。Delta 的核心差异是做了原生 Engram 表读取和 CPU kernel 优化，让 IQ2 这种激进量化在 DDR5 上也能跑满速度，而不是简单的内存映射 fallback。
如果你现在用 Ollama 或 text-generation-webui 跑 70B+ 模型还得上双卡或租 A100，这个方案值得实测对比——尤其是已有 3090/4090 单卡、内存加到 64-128GB 的工作站配置，总成本可能不到云端一周的推理费用。多 GPU 支持刚加入还比较基础，生产环境建议等 CI 稳定后再跟进。