70B模型4GB显存运行，无需量化

层卸载(layer offloading)不是新概念，vLLM、DeepSpeed-Inference 都做过，但 AirLLM 的激进之处在于把激活值也做了极致压缩，实现了比 DeepSpeed ZeRO-Inference 更高的内存压缩比，代价是推理延迟显著增加。之前大家解决大模型小显存问题主要靠 GGUF/GPTQ 量化，但 4-bit 量化对 70B+ 模型的精度损失在复杂推理任务上仍然明显。AirLLM 走了一条不损精度的路线，适合对输出质量敏感、但能容忍慢速推理的场景，比如离线批量生成、长文档分析。如果你在用 Ollama/llama.cpp 跑量化版 DeepSeek 且对效果不满意，这个值得对比测试。